2 天前 / 美码师
背景 最近线上的一个工单分析服务一直不大稳定，监控平台时不时发出数据库操作超时的告警。 运维兄弟沟通后，发现在每天凌晨1点都会出现若干次的业务操作失败，而数据库监控上并没有发现明显的异常。 在该分析服务的日志中发现了某个数据库操作产生了 SocketTimeoutException。 开发同学一开始希望通过调整 MongoDB Java Driver 的超时参数来规避这个问题。 但经过详细分析之后，这样是无法根治问题的，而且超时配置应该如何调整也难以评估。 下面是关于对这个问题的分析、调优的过程。 初步分析 ......
3 天前 / flyhero
码上实战 理论实践相结合，做个好好学习的宝宝！^_^ 关注 数据库死锁这个问题不知道你有没有遇到过呢？一旦遇到该如何排查问题呢？ 环境: MySQL 5.7.25 引擎 InnoDB 如果你的系统日志突然报这种错误，就问你慌不慌？心想：MD，之前遇到过，但完全不记得该怎么办了！！！完了完了！被领导知道我解决不了这个问题，不会被开除吧！ 2019-10-23 13:07:17.144 ERROR nested exception is org.springframework.dao.DeadlockLoserDataAccessException: ### Error updating database. Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollba......
13 天前 / 软件工程师涨薪姿势
什么是分片 分片的好处 分片的坏处 基于范围的分片 基于键的分片 基于目录的分片 目前用于拓展大型MySQL应用方案中，数据分片是最通用且成功的，把数据分割成一小块存储到不同的节点中去，大多数应用只会对需要的数据做分片。我们按照下面的流程图来解决分片： 什么是分片[ 分片 ]（Sharding）是一种与水平切分（horizontal partitioning）相关的数据库架构模式——将一个表里面的行，分成多个不同的表的做法（称为分区）。每个区都具有相同的模式和列，但每个表有完全不同的行。同样，每个分区中保存的数据都是唯一的，并且与其......
15 天前 / 软件工程师涨薪姿势
数据库锁提高共享资源并发性的方式是让锁定的对象更加有选择性，尽量只锁定需要修改的部分数据， 而不是所有的资源，更理想的方式是只对会修改的数据片进行精确的锁定。加锁也需要消耗资源，锁的各种操作，包括获得锁，检查锁是否已经解除、释放锁都会增加系统的开销。 读锁 读锁是共享的，或者说是相互不阻塞的，多个客户在同一时刻可以读取同一资源，而不互相干扰。读锁不会产生死锁，有表级读锁和行级读锁。 写锁 则是排他的，也就是说一个写锁会阻塞其他的写锁和读锁，这是出于安全策略的考虑，只有这样，才能确保在给定的时间内，只有一......
17 天前 / openio
前段时间写数据库内核比较多，最近又有朋友问索引的应用了，其实相关索引应用之前或多或少写过，只是可能不这么系统，这一篇简单总结一下，并系统性补充一些概念。画外音：本文基于MySQL5.6。什么是聚集索引，非聚集索引？详见《聚集索引，普通索引的差异》。 索引底层数据结构如何？ 详见《数据库索引，到底是什么做的？》。 InnoDB到底支不支持hash索引？ 详见《InnoDB到底支不支持哈希索引？》。 什么是回表查询，索引的覆盖？详见《如何避免回表查询？什么是索引覆盖？》。什么是联合索引？多个字段上建立的索引，能够加速复核查询条......
21 天前 / 虞大胆
作者介绍 闫晓宇，同程艺龙数据库技术专家，具有多年互联网行业DB运维经验，在游戏、O2O及电商行业从事过DBA运维工作。2016年加入同程艺龙，目前在团队负责数据库架构设计及优化、运维自动化、MySQL监控体系建设、DB私有云平台设计及开发工作。 一、背景 2017年以前我们运维体系的监控主要还是以Zabbix作为主流的解决方案（目前已经不是Zabbix了，运维团队基于Open-Falcon定制开发了一套统一的运维监控系统，当然这是后话了）。当时数据库这部分的监控服务也是使用的监控运维团队提供的服务。总体来说Zabbix的功能还是非常强大的......
24 天前 / LinuxEverything
点击上方蓝色“Linux News搬运工”关注我们~Better guidance for database developersByJake Edge September 24, 2019 LPC 在2019 Linux Plumbers Conference (LPC)会议内第一次的Databases microconference会议上，两位为不同数据库系统工作的开发者针对Linux环境下的开发工作提出了类似的抱怨意见。Richard Hipp，是SQLite数据库的创始人，而Andres Freund是来自PostgreSQL项目，他们都觉得Linux kernel里缺少I/O接口行为的明确定义，尤其是在某些特殊情况下。会议过程表明kernel跟user-space的开发者需要多多交流。 SQLite Hipp......
24 天前 / 美码师
背景 MongoDB 提供了非常强大的性能分析及监控的命令，诸如 mongostat、mongotop 可以让我们对数据库的运行态性能了如指掌。 然而，这次我们在性能环境上就遇到一个非常棘手的问题： 某服务接口在 1-5分钟内偶现超时导致业务失败！ 在接口调用上返回超时属于前端的判断，通常是设置的一个阈值(比如 3s)。 由于问题是偶现，且没办法发现有明显的规律，很难直接判断出原因。 而平台在做了微服务拆分之后，问题定位的难度加大了不少，且当前的调用链功能也不够完善。 问题界定 业务诊断在一番分析后，梳理出接口调用的关系图如下：......
28 天前 / u547646
作者：郭磊涛，爱奇艺数据库和中间件负责人，TiDB User Group Ambassador。本文系 TUG 北京区 9 月线下活动 “不同业务场景下的数据库技术选型思路” 分享实录。 我是爱奇艺的数据库和中间件负责人郭磊涛，今天主要向大家分享数据库选型方面的思路，供大家参考和学习。我们进行数据库选型的时候要考虑哪些问题？有哪些需求？待选用的数据库是否和需求对的上？是不是直接就可以拿来用？需不需要一些额外的开发？这些都会在今天的分享中提及。 1 WX20191014-202421@2x.png2330×1278 260 KB 我们做选型的时候首先要问： 谁选型？是负责采购的同学......
33 天前 / PingCAP
TiKV底层使用了RocksDB作为存储引擎，然而 RocksDB 配置选项很多，很多情况下只能通过反复测试或者依靠经验来调优，甚至连 RocksDB 的开发者都自嘲，他们没办法弄清楚每个参数调整对性能的影响。如果有一个自动 tuning 的方案就可以大大减少调优的人力成本，同时也可能在调优的过程中，发现一些人工想不到的信息。我们从 AutoML 中得到启发，希望能用 Automated Hyper-parameter Tuning 中的一些方法来对数据库参数进行自动调优。 常用的 Automated Hyper-parameter Tuning 方式大体上有以下三种：1. 随机搜索，或者说叫启发式搜索。包括 GridSear......
35 天前 / openio
前言 在 2019年第五届 Gopher China 大会上，小米科技基础服务高级研发工程师徐成选做了题为《用 Go 构建高性能数据库中间件》的技术演讲，详细介绍了小米开源的数据库中间件 Gaea 的整体架构、内部模块和一些具体实践。以下为演讲实录。 No.0 自我介绍 大家下午好，很荣幸能有这个机会跟大家分享一个用 Go 开发的数据库中间件项目。在之前先做一下自我介绍，我是2015 年年初开始用 Go，最早是用 Python 和 C 比较多，接触 Go 后就立刻喜欢上了这门语言。后来一直用 Go 做了一些项目，包括微服务、数据库和缓存中间件等，还有一些偏业务的......
38 天前 / openio
前几天又看到新闻，某厂用户数据又丢了，据说是实习生的锅。 数据安全性，是DBA最重要的职责，没有之一，今天系统性的说一下MySQL的备份。 画外音：估计不是DBA和OP对这个问题也不太关注，权当了解知识吧。MySQL的备份分两大类：（1）物理备份(Physical Backup)（2）逻辑备份(Logical Backup)什么是物理备份？以拷贝文件的方式备份数据库内容，典型的，可以备份数据库的：数据文件/目录 配置文件/目录 日志文件/目录 … 什么是逻辑备份？备份数据库的逻辑结构，典型的玩法是，把数据库备份为一系列SQL语句：create database; create t......
48 天前 / 一猿小讲
【这是一猿小讲的第57篇原创分享】 大家应该都忙着给祖国庆生，根本无心上班，所以精心为各位打造一篇，一点都不用费脑的文章，一起聊聊数据及数据存储的那些事儿。敲黑板，讲重点，我们开始。 1.数据是啥？秒懂！ 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据——引用百度百科。 2.数据从哪儿来？秒懂！ 敢问你是否知道，当你点亮手机屏幕，手指在手机屏幕上的......
49 天前 / openio
继续回答星球水友提问： 沈老师，我听网上说，MySQL数据表，在数据量比较大的情况下，主键不宜过长，是不是这样呢？这又是为什么呢？这个问题嘛，不能一概而论：（1）如果是InnoDB存储引擎，主键不宜过长；（2）如果是MyISAM存储引擎，影响不大；先举个简单的栗子说明一下前序知识。假设有数据表：t(id PK, name KEY, sex, flag); 其中：（1）id是主键;（2）name建了普通索引;假设表中有四条记录：1, shenjian, m, A 3, zhangsan, m, A 5, lisi, m, A 9, wangwu, f, B 如果存储引擎是MyISAM，其索引与记录的结构是这样的： （1）有单独的区......
53 天前 / icolakele
Sometimes, the use of knowledge is for free, but the discovery of knowledge is usually costly. There must be someone to pay for it. 周末发现家里有部淘汰的Android手机，里面有个微信。微信打开需要登录，账号早就废弃了。好奇心来了，突然很想知道以前聊了些什么。周末闲着也是闲着，开干。 以下内容仅供学习参考，请勿作他用。 关键步骤： root手机 反编译微信App最新版本7.0.3，分析信息存储和加密原理 获取手机IMEI(International Mobile Equipment Identity) 获取UIN(User Information) 计算MD5，数据库密......