1 天前 / RyuGou
很多时候，我们的程序出现的“性能问题”，其实是我们自己写的那"坨"代码的问题，是自己Coding的问题，是Mysql的DML语句使用的问题。以下是我总结的关于MySQL DML语句的使用中需要注意的点。 对于select*要时刻保持谨慎的态度绝大多数情况，是不需要 select*的。一旦使用了这种语句，便会让优化器无法完成索引覆盖扫描这类优化，而且还会增加额外的I/O、内存和CPU的消耗。当然，使用 select*也并不是全是坏处，合理的使用 select*可以简化开发，提高相同代码的复用性。 是否扫描的太多额外的记录有时候会发现某些查询可能需要读取几千行数据，但......
3 天前 / 杀死那个程序员
昔日庖丁解牛，未见全牛，所赖者是其对牛内部骨架结构的了解，对于MySQL亦是如此，只有更加全面地了解SQL语句执行的每个过程，才能更好的进行SQL的设计和优化。 当希望MySQL能够以更高的性能运行查询时，最好的办法就是弄清楚MySQL是如何优化和执行查询的。一旦理解了这一点，很多查询优化工作实际上就是遵循一些原则能够按照预想的合理的方式运行。 如下图所示，当向MySQL发送一个请求的时候，MySQL到底做了什么： 客户端发送一条查询给服务器。 服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果。否则进入下一阶段。 服......
11 天前 / 雷语
自动化＋一些原则让测试更有效、发布周期更短，而且商业风险更低。 by Thomas A.Limoncelli 原文地址：(https://queue.acm.org/detail.cfmid=3300018) 译者按：DevOps 实践火遍大江南北，从一线大厂扩展推行至传统软件企业，但涉及数据库时都多少有些为难。顾介绍相关实践，以供大家借鉴。 有朋友最近告诉笔者，“我们做不了 DevOps，我们使用了关系数据库。“笔者听罢，差点从椅子上摔倒。这个观点在很多层面都是错误的。“你不了解我的处境！”他拒绝道。“DevOps 意味着我们需要更高频率的部署我们软件的发布版本！现在我们不能控制部署，我......
26 天前 / yangyidba
本文讲述调整sql逻辑达到优化目的案例 一前言前面一篇文章说过在有赞的数据库运维体系里面，每个实例会部署相应的sql-killer工具，实时处理耗时比较长的查询。 业务方报执行某个功能时，系统报错Query execution was interrupted，显然sql被kill了。和开发沟通业务逻辑如下: 系统会获取满足参加特定活动且满足一定次数的商家,然后做其他相关操作。二 分析前文<业务优化案例一则>分析过sql变慢的原因大概有如下几种: sql 语句本身索引不合理，导致执行缓慢。 使用合理的索引但是获取的数据量非常多，依然会慢查。 网络丢包重传导致sql变......
52 天前 / 小姐姐味道
在《“分库分表” ？选型和流程要慎重，否则会失控》中，我们谈到处于驱动层的sharding-jdbc。开源做到这个水平，已经超棒了，不像tddl成了个太监。但还是有坑。 不过不能怪框架，毕竟有些sql，只有程序和鬼能懂。 不......
63 天前 / 头条机器人
前言MLSQL-Cluster 在v1.1.6版本中发布。随着MLSQL部署的实例愈发的增多，有给各条业务线部署的MLSQL instances group,也有给算法组，研发组等等部署的单独MLSQL instances group. 我们希望所有这些MLSQL 实例能够被： 统一的管理组内的负载均衡不同组之间互相借用资源同组内的MLSQL 实例数动态调整MLSQL-Cluster 实现了相关功能。架构图如下： WX20181205-105228@2x.png构建MLSQL-Cluster配置数据库。 在MySQL中创建名为streamingpro-cluster的DB,拷贝db.sql文件并运行创建相关表。打包mlsql-cluster:mvn -Pcluster-shade -am -pl streamingpro-......
67 天前 / 小米运维
本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。 上篇文章回顾：看示例学awk 一、5.x中ES-SQL用法Elasticsearch 5.x版本中，SQL功能还没有集成到Elasticsearch源码中，需要下载第三方插件后才能使用，配置过程如下： 1.安装ES-SQL依赖node npm ES-SQL 5.x版本以后，安装需要依赖node和npm，先安装node和npm，安装后在检查node及npm的安装，命令如下： yum -y install nodejs npmnode -vnpm -v 2.下载ES-SQL并安装 然后切换到ES的根目录下，执行如下命令，下载并安ES-SQL......
118 天前 / 小米运维
本文简述了SOAR的下载安装和使用方法，并介绍了SOAR的基础设置和应用的四个场景。 上篇文章回顾：基于线性回归的故障恢复时间预测 在10月20日的开源先锋日（OSCAR）上，小米开源了自研的SOAR（SQL Optimizer And Rewriter）。这是一款智能SQL优化和改写工具，开发人员可以直接通过此工具快速的对自己的SQL进行质量检查，生成评...
120 天前 / hyper0x
文档 | FAQ | 变更记录 | 路线图 | English SOARSOAR(SQL Optimizer And Rewriter)是一个对SQL进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护。功能特点跨平台支持（支持Linux, Mac环境，Windows环境理论上也支持，不过未全面测试）支持基于启发式算法的语句优化支持复...
133 天前 / openio
应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句："不就是写SQL吗，要那么久吗" 我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki： 贴出来给大家看看，省略了一些敏感的内容。 当然内部版言辞也会温和一点，嘻嘻 在哪里写SQL？这个问题高级点的问法是用哪种SQL引擎？SparkSQL、Hive、Phoenix、Drill、Im...
171 天前 / engineX
这个月花了一些功夫写InnoDB：并发控制，MVCC，索引，锁... 有朋友留言：你TM讲了这么多，锁分了这么多类型，又和事务隔离级别相关，又和索引相关，究竟能不能直接告诉我，一个SQL到底加了什么锁！？ 我竟无言以对。 好吧，做过简单梳理之后，今天尝试着直接回答，尽量做到不重不漏，各种SQL语句究竟加了什么锁。 一、普通select (1)在读未提交(R...
214 天前 / 37丫37
SQL审核与执行，作为DBA日常工作中相当重要的一环，一直以来我们都是通过人工的方式来处理，效率低且质量没办法保证。为了规范操作，提高效率，我们决定引入目前市面上非常流行的SQL自动审核工具Inception。花了一周看了inception官方文档并搭建了测试环境简单测试，又花了3天写了webui（内部起名叫overmind，以下也简称overmind），目...
237 天前 / sjf0115
1. 简介Elasticsearch 6.3.0 正式发布了，其中有一个重要特性：原生支持 SQL 了，不需要任何外部其他的库、处理方式等等，开箱即用。REST 接口、命令行、JDBC 各种方式都支持使用 SQL 进行查询和聚合操作，Elasticsearch SQL 就像一个翻译器，它即懂得 SQL 也懂 Elasticsearch，帮助我们方便的使用 S...
249 天前 / laoyang360
1、Elasticsearch6.3 特性概览 1.1、支持Sql 像操作Mysql一样使用Elasticsearch，缩减DSL的学习成本，更多人爱上ES的特性。1POST /_xpack/sqlformat=txt2{3 "query": "SELECT * FROM library WHERE release_date < '2000-01-0...
293 天前 / 年年有鱼
NOSQL或者SQL中常常提到MVCC事务，MVCC 俨然成为SQL和NOSQL的标准配置。在最初的阶段主要使用二阶段锁，二阶段锁作为事务的最初机制，其原理：读写都需要进行加锁其缺点：性能底下，因为对同一个数据的读写操作都需要加锁互斥逐渐，完全使用两阶段锁的事务方法逐慢慢被抛弃。Snapshot Isolation(SI) snapshot isolatio...