25 天前 / Lara
.npmignore 是一个可以给Node.js项目造成严重危害的文件，你应该立即停止使用该文件（除了下面所列的一种情况）。npm中已经永久内置了一个更好的替代文件，并且更易用更安全。 什么是 npmignore？比如我下载了一个名为 cli-ux 的npm包，这是一组常见的 CLI UX 工具函数。该项目的根目录下有一个名为 /test 的文件夹，里面放的是测试脚本。为了使这个npm包更小，我们可以不要这些文件。我可以创建一个 npmignore文件里面包含 /test，这样在运行 npm publish 打包时，可以避免将该文件夹打包到项目中。 与此同时……在该项目中，我在本地使用了 dir......
35 天前 / u539780
概述 分布式数据库已经流行好多年，产品非常众多，其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计，以充分发挥它的分布式能力。各个中间件产品功能核心原理相同，细节上有些区别。这里仅以阿里云的DRDS为例分析，在产品架构、功能、成熟度和市场占有率上，它都比同行产品有优势。 首先为了避免被误解为：「手里有把锤子，看什么都是钉子！」，说明一下不是什么业务都适合分布式数据库，更不是用了分布式数据库性能就一定能得到扩展。这个我在另外一篇文章《分布式数据库的拆分设计实践》已经有......
42 天前 / 廖君
腾讯TBase是一款腾讯自研高性能HTAP数据库，提供高性能的OLTP和OLAP能力，同时保证可扩展全局一致性分布式事务（ACID），为用户提供高一致性的分布式数据库服务和高性能的数据仓库服务。一方面解决了传统数据库扩展不足、数据sharding之后数据库事务的严格一致性难题、数据安全、跨地域容灾等问题，同时具备了高性能事务处理、数据治理、混合负载支持等能力。 在OLTP方面，TBase采用MVCC+全局时钟+2PC+SSI的方式来实现全局一致性分布式事务，同时引入大量性能优化的设计来减少全局事务带来的开销。在小规模集群上，TBase能够提供超过300万TPMTotal......
57 天前 / 忄落北
1分钟系列 【缘起】 用户中心是几乎每一个公司必备的基础服务，用户注册、登录、信息查询与修改都离不开用户中心。 当数据量越来越大时，需要多用户中心进行水平切分。最常见的水平切分方式，按照uid取模分库： 通过uid取模，将数据分布到多个数据库实例上去，提高服务实例个数，降低单库数据量，以达到扩容的目的。 水平切分之后： uid属性上的查询可以直接路由到库，如上图，假设访问uid=124的数据，取模后能够直接定位db-user1。 对于uname上的查询，就不能这么幸运了： uname上的查询，如上图，假设访问uname=shenjian的......
82 天前 / 开发者头条
点击链接或图片即可阅读 喜欢请分享到朋友圈哦 项目介绍 ebra 是一个基于 JDBC API 协议上开发出的高可用、高性能的数据库访问层解决方案，是美团点评内部使用的数据库访问层中间件。具有以下的功能点： 配置集中管理，动态刷新 支持读写分离、分库分表 丰富的监控信息在CAT上展现 异步化数据库请求，多数据源支持 GitHub 地址 https://github.com/Meituan-Dianping/Zebra 更多 GitHub 开源项目 头条君邀请您加入 开发者头条读者交流群 （识别下方群主二维码申请进群，请注明 “城市+技术方向”） 微信号：t......
85 天前 / u128287
文| 小朋友 on 中间件引言想必本文的读者对数据库都不会陌生，由于数据库良好的特性和服务的稳定性，使得我们的工作几乎离不开，而数据库连接池因为连接复用的优势也被广泛的使用，但凡事不可能只有好处而没有代价，使用连接池一个最直接的代价就是需要配置一堆的参数。其实很多时候这个复杂度也不存在，只要找个工程把配置拷贝一份，改一下用户名密码也就能工作了，因为之前的配置都正常工作了一段时间基本也没问题了，这个逻辑本身没毛病，但有个前提至少知道配了什么，不然问题来了都不知道如何应对。本文以 druid 1.1.5 (https://github.com/al......
89 天前 / 风来风往风伤(TiAmo)
在之前的文章中，我们提到了亚马逊、谷歌、IBM 等大厂都上了 Visual Studio Code 的船。 今天（北京时间 2019 年 6 月 20 日），甲骨文也上了 VS Code 的船，发布了基于 VS Code 的开发者工具，让开发者能轻松连接 Oracle 数据库。 在DB-Engines Ranking排行榜中，Oracle 数据库长期占据了第一的位置。世界上使用量最多的数据库怎么能缺少了对世界上最受欢迎的编辑器的支持呢？ 随着 Oracle Developer Tools for VS Code 的发布，Oracle 数据库的开发者可以不用在不同的工具中来回切换了。只要使用 VS Code，就可以创建、编写、运行以及管理你的......
91 天前 / Fundebug
2019年，越南，会安 上周在介绍极客时间课程时提了点数据库的旧事，不想还有许多朋友认为有意思，希望多听点。所以我厚着脸皮，回忆了几个与数据库打交道的细节，记录在这里。 一 学校开数据库课程的时候，用的是高等教育出版社的教材。大概还有些朋友有印象，当时高教社出了一整套《面向21世纪课程教材》，正方形开本，压膜封面，依照专业不同，颜色分别是绿色、红色、蓝色等等。数据库的教材感觉中规中矩，就是从小到大都熟悉的模式。不过，当时有朋友介绍了一本新的教材，给了我很大影响。 这本《数据库：原理、性能与编程》也是高教社出......
92 天前 / Yeming
作者 | 杨碧佳 后端攻城狮，关注算法和中间件，喜欢探索各种技术。 引言：我们常常会在工作中用到索引，因为我们觉得在大量的数据下，索引会让数据库查询变得更快，但是我们往往不知道，我们的索引还可以进行进一步的优化，让查询速度变得更快。本文会从一些基础理论讲起，提供一种近乎程式化建立索引的方法。 一、 索引相关定义 物理结构表和索引都被存储在页中，页的大小一般为 4KB 或者 8KB。 当表和索引被加载或重组时，每个页会留出一定比例的空闲空间，以满足向其添加新的表行或索引行的需求。DBMS 的缓冲池和 I/O 活动都是基于页......
101 天前 / masonlee
决战数据库-spring batch(4)数据库到数据库tags：springbatch 1.引言上一篇文章《快速使用组件-spring batch(3)读文件数据到数据库》对 SpringBatch的读、处理、写组件进行了介绍，并且以实际案例使用了 FlatFileItemReader读文本文件，并把每行数据映射为实体，然后使用 JdbcBatchItemWriter把实体对象数据存储到 MySQL中。但在数据集成的实际应用中，更多的工作是从A数据库到B数据库，数据库之间是异构的，数据与数据的字段定义是不尽相同的，因此，在数据同步、数据抽取时，需要从源数据库读取数据，经过校验、转换，过滤、清洗，然后把数据再......
101 天前 / y277an
"先更新缓存，再更新数据库"这种方案同理，也是造成脏数据，所以不被考虑 原因2：业务场景角度。有如下两点： 如果你是一个写数据库场景比较多，而读数据场景比较少的业务需求，采用这种方案就会导致数据压根还没读到，缓存就被频繁的更新，浪费性能。如果你写入数据库的值，并不是直接写入缓存的，而是要经过一系列复杂的计算再写入缓存。那么，每次写入数据库后，都再次计算写入缓存的值，无疑是浪费性能的。显然，删除缓存更为适合。如果一定要更新缓存，可以考虑给缓存数据增加版本号
105 天前 / LinuxEverything
又一个开源项目更改了许可 翻看LWN新闻的时候，注意到就在昨天（今天是2019年6月5日），CockroachDB数据库更改了许可证，严格意义上不是自由软件了，这一事件引起开源社区广泛讨论。 CockroachDB是纽约的Cockroach Labs公司开发的数据库，非常类似于Google提供的数据库服务Spanner geographically distributed database (Spanner跨地域分布式数据库），CEO就是此前在Google创建Spanner项目的前Google员工Spencer Kimball。公司去年开始提供收费服务帮助客户来部署和支持CockroachDB。目前已经有50个付费客户，包括百度。今年的付费用户增长......
108 天前 / 方丈的寺院
分两部分介绍NoSQL - NoSQL 概览 1. RDBMS VS NoSQL 2. NoSQL 种类 3. NoSQL 的一些名词 - 结合Mongo,Cassandra谈谈NoSQL的设计和应用 1. 部署架构 2. 分片 3. 数据存储与维护 4. 读写分析 5. 数据模型 关系型数据库 VS NoSQL VS New SQL 关系型数据库：元组关系(ER)，提供了一套标准的接口，SQL NoSQL: non-relational,Not-Only SQL,致力于解决关系型数据库扩展的问题 New SQL: 结合RDBMS 与NoSQL的优势(还没有看到一个清晰的概念定义) NoSQL 种类 数据模型|相关数据库|典型应......
109 天前 / yangyidba
一 前言 不管是开发同学还是DBA,想必大家都遇到慢查询(select,update,insert,delete 语句慢)，影响业务稳定性。这里说的慢，有两个含义一是比正常的慢，有可能正常执行时间是10ms，异常的是100ms 。二是sql执行时间超过设置的慢查询标准比如500ms。 本文从IT架构以及数据库纬度来分析导致sql执行慢的原因/场景，抛砖引玉，有不足之处还请大家多多提建议。 二基础知识分析慢查询之前，我们先看看sql执行的路径,理清楚可能会影响sql执行速度的相关因素。 执行路径app ---[proxy]---db app --- db 目前大部分的数据库架构基本都是上面的路径，sq......