5 小时前 / 码咖
一、概念Mysql复制（replication）是一个异步的复制，从一个Mysql 实例（Master）复制到另一个Mysql 实例（Slave）。实现整个主从复制，需要由Master服务器上的IO进程，和Slave服务器上的Sql进程和IO进程共从完成。要实现主从复制，首先必须打开Master端的binary log（bin-log）功能，因为整个 MySQL 复制过程实际上就是Slave从Master端获取相应的二进制日志，然后再在自己slave端完全顺序的执行日志中所记录的各种操作。 （二进制日志几乎记录了除select以外的所有针对数据库的sql操作语句） 二、复制解决的问题(1) 数据分布 (Data distribution ......
15 天前 / php-v
作者奕X(企业代号名)，目前负责贝壳大数据部Mysql实时接入和多种OLAP引擎查询相关工作。 1EPX简介 EPX主要对MySQL数据库进行实时监听，是一个从Mysql实时同步变更到Kafka的高可用、高性能、可追溯的数据管道。EPX通过Binlog Dump实时获取数据库的增量日志，并通过解析后获取具体的数据变更，最后将变更记录推送到Kafka中以供业务方消费。 EPX具有广泛的应用场景，可以应用于实时Mysql数据到NoSQL、实时搜索、实时推荐、业务Cache刷新、重要字段变更监控等业务场景。目前接入EPX的数据库有房源、客源、租赁、商业平台等，EPX为下游业务方提供了......
16 天前 / 开发者头条
点击链接或图片即可阅读 喜欢请分享到朋友圈哦 项目介绍 ebra 是一个基于 JDBC API 协议上开发出的高可用、高性能的数据库访问层解决方案，是美团点评内部使用的数据库访问层中间件。具有以下的功能点： 配置集中管理，动态刷新 支持读写分离、分库分表 丰富的监控信息在CAT上展现 异步化数据库请求，多数据源支持 GitHub 地址 https://github.com/Meituan-Dianping/Zebra 更多 GitHub 开源项目 头条君邀请您加入 开发者头条读者交流群 （识别下方群主二维码申请进群，请注明 “城市+技术方向”） 微信号：t......
18 天前 / nullwy
2015 年 8 月，MySQL 5.7.8 开始提供对 JSON 的原生支持 [ doc1, doc2]。MySQL 对 JSON 的支持可以说是千呼万唤始出来。2009 年开始 NoSQL逐渐流行起来，相继出现了键值对数据库、文档数据库、列族数据库、图数据库等各类 NoSQL，解决经典关系型数据库无法解决的痛点。其中，对灵活存储半结构化数据的需求，使得类似 MongoDB 这类文档数据库涌现出来。各大主流关系型数据库也在响应趋势，开始支持半结构化数据。早在 2012 年，PostgreSQL 9.2 就已经添加了 JSON 数据类型 [ ref]。Oracle 也在 2014 年 7 月发布 12c Release 1 后开始支持 JSON [ re......
19 天前 / 1点25
什么是降序索引大家可能对索引比较熟悉，而对降序索引比较陌生，事实上降序索引是索引的子集。 我们通常使用下面的语句来创建一个索引： create index idx_t1_bcd on t1(b,c,d); 上面sql的意思是在t1表中，针对b,c,d三个字段创建一个联合索引。 但是大家不知道的是，上面这个sql实际上和下面的这个sql是等价的： create index idx_t1_bcd on t1(b asc,c asc,d asc); asc表示的是升序，使用这种语法创建出来的索引叫做升序索引。也就是我们平时在创建索引的时候，创建的都是升序索引。 可能你会想到，在创建的索引的时候，可以针对字段设置as......
20 天前 / sjf0115
点击上方蓝字“阿里巴巴数据库技术”关注我们 每天都可以接收到阿里云数据库的最新干货！ 作者：阿里云数据库产品事业部 高级技术专家 印风 前言 CTE也就是common table expressions，是SQL标准里的语法，很多数据库都能够支持，MySQL也在8.0版本里加入了CTE功能。本文主要简单的介绍下该语法的用法，由于笔者对server层了解不深，本文不探讨代码层。 CTE与derived table最大的不同之处是 可以自引用，递归使用（recursive cte 在语句级别生成独立的临时表. 多次调用只会执行一次 一个cte可以引用另外一个cte 一个CTE语句其实和CRE......
22 天前 / zZhao
应用系统分层架构，为了加速数据访问，会把最常访问的数据，放在缓存(cache)里，避免每次都去访问数据库。 操作系统，会有缓冲池(buffer pool)机制，避免每次访问磁盘，以加速数据的访问。 MySQL作为一个存储系统，同样具有缓冲池(buffer pool)机制，以避免每次查询数据都进行磁盘IO。 今天，和大家聊一聊InnoDB的缓冲池。 InnoDB的缓冲池缓存什么？有什么用？ 缓存表数据与索引数据，把磁盘上的数据加载到缓冲池，避免每次访问都进行磁盘IO，起到加速访问的作用。 速度快，那为啥不把所有数据都放到缓冲池里？ 凡事都具备......
22 天前 / 小匠
点击上方蓝色字体，选择“设置星标” 优质文章，第一时间送达 MySQL count(1) 真的比 count(*) 快么 反正同事们都是这么说的，我也姑且觉得对吧，那么没有自己研究一下究竟？如果我告诉你他们一样，你信么？ 有Where条件的count，会根据扫码结果count一下所有的行数，其性能更依赖于你的Where条件，所以文章我们仅针对没有Where的情况进行说明。 MyISAM 引擎会把一个表的总行数记录了下来，所以在执行count(*)的时候会直接返回数量，执行效率很高。在 MySQL 5.5 以后默认引擎切换为 InnoDB，InnoDB 因为增加了版本控制(MVCC)的原因，同时有......
23 天前 / openio
数据库死锁，是最难调试与追踪的。 场景如下： 同一个表，事务内先插入一条记录，再更新这条记录，并发时会死锁。 并且能够复现。 可以通过什么工具模拟并发事务，查看信息，解决问题呢？这是今天要分享的内容。 一、前置准备 set session transaction isolation level repeatable read; set session autocommit=0; create table t ( id int(20) primary key AUTO_INCREMENT, cell varchar(20) unique )engine=innodb; start transaction; insert into t(cell) values(11111111111); insert into t(cell) valu......
26 天前 / 梁桂钊
今天，探讨一个有趣的话题：MySQL 单表数据达到多少时才需要考虑分库分表？有人说 2000 万行，也有人说 500 万行。那么，你觉得这个数值多少才合适呢？ 曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万行，性能会明显下降。事实上，这个传闻据说最早起源于百度。具体情况大概是这样的，当年的 DBA 测试 MySQL性能时发现，当单表的量在 2000 万行量级的时候，SQL 操作的性能急剧下降，因此，结论由此而来。然后又据说百度的工程师流动到业界的其它公司，也带去了这个信息，所以，就在业界流传开这么一个说法。 再......
26 天前 / php-v
文章作者：温正湖 网易杭州研究院 编辑整理：Hoh Xil 内容来源：DTCC 2019 出品社区：DataFun 注：欢迎转载，转载请注明出处 MyRocks 是 Facebook 引入 RocksDB 后的 MySQL 分支版本，在 Facebook 内部得到了大规模使用，得益于 RocksDB 优秀的写入性能和数据压缩等特点，MyRocks 也受到了 MySQL 社区的极大关注，网易杭研在 InnoSQL 5.7.20 版本增加了 MyRocks 存储引擎。本次分享将为大家分析 MyRocks 的优点，介绍其在网易互联网核心产品的不同业务场景上的使用、参数调优、问题定位和功能优化。 本次分享的内容大纲： 一、MyRocks......
28 天前 / xF0rk
常见的数据库攻击包括弱口令、SQL注入、提升权限、窃取备份等。对数据库日志进行分析，可以发现攻击行为，进一步还原攻击场景及追溯攻击源。 0x01 Mysql日志分析general query log能记录成功连接和每次执行的查询，我们可以将它用作安全布防的一部分，为故障分析或黑客事件后的调查提供依据。 1、查看log配置信息 show variables like '%general%';2、开启日志 SET GLOBAL general_log = 'On';3、指定日志文件路径 SET GLOBAL general_log_file = '/var/lib/mysql/mysql.log';比如，当我访问 /test.phpid=1，此时我们得到这样的日志： 190604......
35 天前 / clumsy
导读刚刚导入了几千万数据，却意外的查不到，这是为何？ 前几天，我的朋友小明同学火急火燎地找到我，说有个表刚导入了几千万数据，却怎么也查不到数据，很是抓狂，让我给看看。 下面是我到达现场后，亲自执行几个命令的结果： 先执行COUNT(*)统计总数 [root@yejr.me]> select count(*) from t1; +----------+ | count(*) | +----------+ | 0 | +----------+ 1 row in set (1 min 25.85 sec) SQL运行的有点慢，结果的确是空的。 再任意查询一条记录看看： [root@yejr.me]> select * from t1 limit 1; Empty set (13.63 sec) ......
39 天前 / 田守枝
本文深入介绍Mysql Binlog的应用场景，以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的，作用是什么。 1 基于binlog的主从复制 Mysql 5.0以后，支持通过binary log(二进制日志)以支持主从复制。复制允许将来自一个MySQL数据库服务器（master) 的数据复制到一个或多个其他MySQL数据库服务器（slave)，以实现灾难恢复、水平扩展、统计分析、远程数据分发等功能。 二进制日志中存储的内容称之为事件，每一个数据库更新操作(Insert、Update、Delete，不包括Select)等都对应一......
40 天前 / yangyidba
一前言 计划今年将数据库服务器的os 从centos 6 升级到centos 7,根据惯例,升级之前我们要进行一次性能压测。本文分享一下我们的压测记录和结果。 二 压测准备2.1 压测方法使用sysbench-0.5构造10张表 ，每张表500w数据，并行度分别为12 24 36 48 60 72 ，每个并发压测4小时，共计24小时。压测命令如下 /opt/yz-sysbench/bin/sysbench --test=/opt/yz-sysbench/share/sysbench/oltp.lua --oltp-tables-count=10 --oltp-table-size=5000000 --mysql-db=sysbench --mysql-user=sysbench --mysql-password=sysbench --mysql-socket=/srv/my3306/ru......