4 天前 / 微光
MySQL分页offset过大性能问题与优化DaemonCoder | 2018-11-17 18:48:10背景最近被DBA报了一个慢查询，一条sql要执行几秒甚至十几秒，直接导致cpu idle报警，幸好线上没有出事故。这里记录下问题的详细信息和解决方案。 Mysql表结构大概可以简化为这样： CREATE TABLE `t` ( `a` int(11) NOT NULL, `b` int(11) DEFAULT NULL, `c` int(11) DEFAULT NULL, PRIMARY KEY (`a`), KEY `idx_c` (`c`) ) ENGINE=InnoDB a、b、c三列，a列是主键，c列上有索引（当然线上真实的表结构比这个更复杂，此处只是为了说明问题，略去不相关字段）。 这个表......
7 天前 / gansteed
MySQL性能优化指南数据库优化，是一个存在了几十年的问题，更是每一个后端开发者精进路上必须掌握的技能。 而性能优化的核心，就是抠门。在完成功能的前提下：对于CPU，执行越少的代码，那么所需要的CPU时间就越少，因此程序就会越快；对于IO，执行越少次数的I/O，阻塞于I/O的时间就会越少；对于网络，传输越少的数据，那么所需要的时间就会越少。 对于MySQL的优化，也是一样的。接下来我们来看看MySQL优化的几个步骤： 首先要找到问题所在性能测试，重现问题，这是进行性能优化的前提。因此我们需要靠一些工具，例如压测工具、慢查询日志等，定......
22 天前 / 阿甘_paul
点击上方蓝 字关注~ 维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 在维表关联中定时全量加载是针对维表数据量较少并且业务对维表数据变化的敏感程度较低的情况下可采取的一种策略，对于这种方案使用有几点需要注意： 全量加载有可能会比较耗时，所以必须是一个异步加载过程 内存维表数据需要被流表数据关联读取、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，......
22 天前 / Hollis
△Hollis, 一个对Coding有着独特追求的人△ 这是Hollis的第232篇原创分享 作者 l Hollis 来源 l Hollis（ID：hollischuang） 数据库查询相信很多人都不陌生，所有经常有人调侃程序员就是CRUD专员，这所谓的CRUD指的就是数据库的增删改查。 在数据库的增删改查操作中，使用最频繁的就是查询操作。而在所有查询操作中，统计数量操作更是经常被用到。 关于数据库中行数统计，无论是MySQL还是Oracle，都有一个函数可以使用，那就是COUNT 但是，就是这个常用的COUNT函数，却暗藏着很多玄机，尤其是在面试的时候，一不小心就会被虐。不信的话请......
39 天前 / 猿人谷
之前也写过关于mysql索引的文章，随着后面的学习和工作中的实战，遇到了更多有意思的索引技巧和注意事项，觉得有必要把之前的文章再继续补充完善下。 一.索引的作用一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多，也是最容易出问题的，还是一些复杂的查询操作，所以查询语句的优化显然是重中之重。 在数据量和访问量不大的情况下，mysql访问是非常快的，是否加索引对访问影响不大。但是当数据量和访问量剧增的时候，就会发现mysql变慢，甚至down掉，这就必须要考虑优化sql了，给数据库建立正确......
50 天前 / 37丫37
为了项目的稳定，代码的高效，管理的便捷，在开发团队内部会制定各种各样的规范 这里分享一份我们定义的MySQL开发规范，欢迎交流拍砖 数据库对象命名规范数据库对象命名规范的对象是指数据库SCHEMA、表TABLE、索引INDEX、约束CONSTRAINTS等的命名约定 数据库对象命名原则1. 命名使用具有意义的英文词汇，词汇中间以下划线分隔 2. 命名只能使用英文字母、数字、下划线 3. 避免用MySQL的保留字如：call、group等 4. 所有数据库对象使用小写字母数据库命名规范1. 数据库名不能超过30个字符 2. 数据库命名必须为项目英文名称或有意义的简写 3. ......
56 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 这年头，你看到的东西未必就是你认为的东西。一个mysql协议的后面，可能是tidb；一个linux机器后面，可能是一个精简的docker；你觉得xjjdog是个女的，但可能ta自己也不太清楚；而当你大呼php万岁的时候，可能是研发人员和你开个玩笑，重写了后缀，而后端用的却是java。 大家都知道redis速度快，但它的容量和内存容量有关，很容易达到瓶颈。有些互联网公司，直接使用redis作为后端数据库（在下佩服）。当业务量暴增，就面临一个redis容量和价格的权衡问题。改业务代码是......
56 天前 / 猿天地
前言 最近系统（基于SpringCloud+K8s）上线，运维团队早上8点左右在群里反馈，系统登录无反应！我的第一反应是Mysql数据库扛不住了。 排查问题也是一波三折，有网络问题，也有mysql读写分离后数据库参数优化问题。 问题回顾1、运维团队早上8点左右在群里反馈，系统登录无反应。 2、DevOps团队通过查看Kibana日志，发现ELK、k8s集群、Redis、Mongodb、Nigix、文件服务器全部报：”Connect Unknown Error“，惊出一身冷汗。。。 心里嘀咕难道K8s容器也挂了？那还怎么玩？ 3、查看监控短信，连续收到数据库读写分离Master-Slave警告信息 ......
69 天前 / 37丫37
大量实例助你看懂Explain的输出内容，轻松搞定慢查询 EXPLAIN：查看SQL语句的执行计划 EXPLAIN命令可以帮助我们深入了解MySQL基于开销的优化器，还可以获得很多可能被优化器考虑到的访问策略的细节，以及当运行SQL语句时哪种策略预计会被优化器采用，在优化慢查询时非常有用 执行explain之后结果集包含如下信息 +----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+-------+ |id|select_type|table|partitions|type|possible_keys|key|key_len|ref|rows|filtered|Extra| +----+--......
80 天前 / 码到功成
1. 概述 本文将简要介绍下mysql中常见的存储引擎及其特性对比 Mysql的存储引擎有以下特点： 1，插拔式的插件方式 2，存储引擎是指定在表之上的，即一个库中的每一个表都可以指定专用的存储引擎。 3，不管表采用什么样的存储引擎，都会在数据区，产生对应的一个frm文件（表结构定义描述文件） 2. mysql常见的存储引擎 2.1. CSV存储引 数据存储以CSV文件 特点： 不能定义没有索引、列定义必须为NOT NULL、不能设置自增列-->不适用大表或者数据的在线处理 CSV数据的存储用,隔开，可直接编辑CSV文件进行数据的编排-->数据安全性......
85 天前 / linjinhe
0在数据库中，数据是被分成一块一块的。在操作系统中，数据也是被分成一块一块的。一般情况下，数据库的块要比操作系统的快大，且数据库块的大小是操作系统块的大小的整数倍。所以，数据库的块没法保证原子地持久化。 1Double write 要解决的是 inplace update 的 partial write 的问题。什么叫 partial write？数据库 flush 脏页的时候，系统可能宕机，这个时候，数据库的一个脏页可能只刷了一部分。而 InnoDB 的 redo log 没有记录整个 page 的内容。因为如果每次修改都记录整个 page，那日志就太大了。也就是说， old_page + redo_log => new_......
93 天前 / 一猿小讲
【这是一猿小讲的第 41篇原创分享】 今天雅兴又起，再续爱情36技。大概率你们已经淡忘了 Java 那小子与 Python 菇凉浪漫的爱情故事，容我再帮着给大家回味一下。 Java 那小子先是靠着《爱情36技之追美妹的技术》抱得美人归；考虑到爱情保鲜，Java 那小子又借着《爱情36技之暗送秋波的技术》实现了对 Python 菇凉的暗送秋波；为了能够能让爱情更长远，然后两人靠着《爱情36技之趣味相投》实现了志同道合，Python 菇凉从此也踏上学习编程之路；为了让努力学习编程的 Python 菇凉稍微放松一下，特意安排一次游玩，没成想，游玩途中却出现了......
93 天前 / 全菜工程师小辉
前言MyISAM和InnoDB是MySQL最常用的两个存储引擎，本文将进行详尽的介绍和对比。对于MySQL其余几种存储引擎，请读者自行搜索学习。 本文会图解两种引擎的索引结构区别，然后讲解索引的原理，理解本文内容，就能够理解索引优化的各种原则的背后原因。 限于篇幅，本篇没有介绍的知识，会在后续博客将逐一讲解。例如：MySQL引擎的锁机制、多列索引的生效规则、索引优化等主题。 下面SQL在本篇介绍引擎的结构区别时使用的表结构，便于读者更好理解。 CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '唯一码', `age` in......
110 天前 / CainGao0
“大多数情况下，我们在使用MySql的时候需要自己在Linux或者Windows上安装MySql，都需要经历官方下载、安装、配置等流程。整个过程大概需要半个小时甚至一个小时。现在我们使用Docker进行一次MySql实例的安装启动。” 01 — Docker安装MySql Docker Searchdocker serach 是docker的基本命令，用于查找镜像源中的镜像。docker search mysql执行查找mysql镜像的命令.获取到以上列表。 NAME镜像的名称。 DESCRIPTION镜像的相关描述 STARS镜像的Star数量 OFFICIAL是否为官方发布的镜像 AUTOMATED是否为自动构建的镜像 docker pull mysq......