3 天前 / engineX
架构师之路年终总结（七）-MySQL篇 今年（去年）写了几万字关于MySQL的文章，年终稍作总结，希望对大家有帮助。 1.索引到底是怎么实现的？ 这两篇文章很重要，讲解MySQL索引底层实现，也是阅读量最高的几篇之一。 《数据库索引，到底是什么做的？》 这一篇，介绍了哈希索引，树索引，数据预读/局部性原理，B+树的优化思路。 《MyISAM与InnoDB的索引差异究竟是啥？》 在上一篇基础之上，用图例讲述了MyISAM与InnoDB的索引差异与实践。 2.《InnoDB，为何并发如此之高？》 文章介绍了： （1）什么是并发控制； （2）并......
4 天前 / RyuGou
很多时候，我们的程序出现的“性能问题”，其实是我们自己写的那"坨"代码的问题，是自己Coding的问题，是Mysql的DML语句使用的问题。以下是我总结的关于MySQL DML语句的使用中需要注意的点。 对于select*要时刻保持谨慎的态度绝大多数情况，是不需要 select*的。一旦使用了这种语句，便会让优化器无法完成索引覆盖扫描这类优化，而且还会增加额外的I/O、内存和CPU的消耗。当然，使用 select*也并不是全是坏处，合理的使用 select*可以简化开发，提高相同代码的复用性。 是否扫描的太多额外的记录有时候会发现某些查询可能需要读取几千行数据，但......
4 天前 / 杀死那个程序员
常言说得好，每个成功男人背后都有一个为他默默付出的女人，而对于MySQL来说，这个“人”就是InnoDB存储引擎。 MySQL区别于其他数据库的最为重要的特点就是其插件式的表存储引擎。而在众多存储引擎中，InnoDB是最为常用的存储引擎。从MySQL5.5.8版本开始，InnoDB存储引擎是默认的存储引擎。 InnoDB存储引擎支持事务，其设计目标主要面向在线事务处理(OLTP)的应用。其特点是行锁设计、支持外键，并支持非锁定读，即默认读操作不会产生锁。 InnoDB通过使用多版本并发控制(MVCC)来获取高并发性，并且实现了SQL标准的4中隔离级别，默认为REPEATABLE......
6 天前 / 杀死那个程序员
昔日庖丁解牛，未见全牛，所赖者是其对牛内部骨架结构的了解，对于MySQL亦是如此，只有更加全面地了解SQL语句执行的每个过程，才能更好的进行SQL的设计和优化。 当希望MySQL能够以更高的性能运行查询时，最好的办法就是弄清楚MySQL是如何优化和执行查询的。一旦理解了这一点，很多查询优化工作实际上就是遵循一些原则能够按照预想的合理的方式运行。 如下图所示，当向MySQL发送一个请求的时候，MySQL到底做了什么： 客户端发送一条查询给服务器。 服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果。否则进入下一阶段。 服......
7 天前 / 虞大胆
InnoDB 和大部分的存储引擎一样, 都是采用WAL 的方式进行写入数据,所有的数据都先写入到redo log, 然后后续再从buffer pool 刷脏到数据页又或者是备份恢复的时候从redo log 恢复到buffer poll, 然后在刷脏到数据页,WAL很重要的一点是将随机写转换成了顺序写, 所以在机械磁盘时代,顺序写的性能远远大于随机写的背景下, 充分利用了磁盘的性能. 但是也带来一个问题, 就是任何的写入操作都必须加锁访问, 保证上一个写入操作完成以后, 才能进行下一个写入操作.在 InnoDB 早期版本也是这样实现, 但是随着cpu 核数的增长,这样频繁的加锁就无法发挥多核的性......
22 天前 / 虞大胆
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。作者：王克锋出处：https://kefeng.wang/2018/07/22/mysql-sharding/版权：自由转载-非商用-非衍生-保持署名，转载请标明作者和出处。 1 分库分表概述在业务量不大时，单库单表即可支撑。当数据量过大存储不下、或者并发量过大负荷不起时，就要考虑分库分表。 1.1 分库分表相关术语读写分离: 不同的数据库，同步相同......
23 天前 / mr7
点击▲关注 “数据和云” 给公众号标星置顶 更多精彩 第一时间直达 作者介绍：崔虎龙，云和恩墨-开源架构部-MySQL技术顾问，长期服务于数据中心（金融，游戏，物流）行业，熟悉数据中心运营管理的流程及规范，自动化运维 等方面。擅长MySQL，Redis，MongoDB 数据库高可用设计 和 运维故障处理，备份恢复，升级迁移，性能优化 。 经过多年的实际经验，整理了一些材料，已Linux环境下MySQL性能突发事件问题排查技巧分享给大家。 作为DBA在面对性能上突发问题的时候，是否出现过束手无策，无从下手的经历。其实性能无非问题点在于存储、操作系统，......
26 天前 / kooola
很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式： 业务直接或间接写入的方式 业务的关系型数据库同步到大数据集群的方式 第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。 第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接存储到 hbase 中。 其中数据同步又可以大致分为两种：增量同步、CRUD 同步。 增量同步是只将关系型数据库中新增的数据进行同步，对于修改、删除操作不进行同步，这种同步方式适用于那......
31 天前 / 雷语
作者介绍 张永翔，现任网易云RDS开发，持续关注MySQL及数据库运维领域，擅长MySQL运维，知乎ID：雁南归。 MySQL 8.0中一个重要的新特性是对Redo Log子系统的重构，通过引入两个新的数据结构recent_written和recent_closed，移除了之前的两个热点锁：log_sys_t::mutex和log_sys_t::flush_order_mutex。 这种无锁化的重构使得不同的线程在写入redo_log_buffer时得以并行写入，但因此带来了log_buffer不再按LSN增长的顺序写入的问题，以及flush_list中的脏页不再严格保证LSN的递增顺序问题。 本文将介绍MySQL 8.0中对log_buffer......
37 天前 / iCell
January 14, 2019MySQL 索引原理及设计索引一直是数据库中非常重要的概念，所以了解索引相关的知识是转入后端开发中必不可少的一环。这篇文章是我从开始做后端开发之后至今学习关于索引知识的一个总结，从原先很多概念的模糊和不理解到现在大致有一个比较清楚的认知，尽量会把关于索引的一些点以及为什么需要这么做给解释明白，包括使用 InnoDB 引擎的 MySQL 索引的相关概念，以及如何针对 InnoDB 进行索引的设计和使用，以及三星索引的概念，会从我所了解到的知识去解释为什么需要这样，如果有错误的地方还请指出。 B+ Tree在 InnoDB 中，索引使......
42 天前 / 恒生技术君
移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据的用户行为分析等这样的分析，都需要依靠数据都统计和分析，当数据量小时，问题没有暴露出来，数据库方面的优化显得不太重要，一旦数据量越来越大时，系统响应会变慢，TPS直线下降，直至服务不可用，可能有人会提出来，为何不用Oracle呢，确实，很多开发者写代码时并不会关心SQL的问题，凡是性能问题都交给DBA负责SQL优化，可是，不是每一个项目都会有DBA,也不是所有的项目都会采用Oracle数据库，而且，Oracle数据库在大数据量的背景下，解决性能问题，也不见的是一个非常轻松......
53 天前 / 周立
个人习惯用MySQL workbench EER数据建模，然后生成SQL语句到数据库中执行，这样表之间的关系比较直观。 像下面这样： 画图 正向工程，生成DDL语句： 忽略生成外键，以及外键索引啥的： 生成的DDL语句： 到数据库执行。 踩坑了最近团队微调，我被调整到另一个小团队。前两天接了个新需求，于是我依然使用MySQL workbench EER建模，结果好不容易建模完成了，却被告知这个项目用的数据库是PostgreSQL！ 于是就面临如下几种选择： 重新找个支持导出PostgreSQL DDL语句的建模软件，再弄......
67 天前 / gansteed
Prometheus MySQL Exporter源码阅读常见的消息订阅模式有两种情形，一种是推，即产生一条消息时，即刻推送给所有客户端（或者对应的DB存储下来）；另外一种是拉，即产生一条消息时，并不做任何动作，而是当真正需要数据时，再去生成。对应到实际编程中，也有类似的概念，例如，实时计算vs延迟计算(lazy evaluation)。 下面是Prometheus的架构图： https://prometheus.io/docs/introduction/overview/ 可以看到，Prometheus使用拉取的模式（虽然配备了一个Pushgateway用于实现推的模式）。也就是说，Prometheus是客户端准备好数据并且存起来，P......