18 天前 / 一猿小讲
【这是一猿小讲的第80篇原创分享】 今天聊点面试中经常聊的话题 —— 索引！虽然网上已经有很多类似的文章啦，但是我们开启的方式却不同。 01. 体验很重要 首先打造一个世界上最简单的迷你版数据库，一起来围观体验。 #!/bin/bash # 迷你版数据库对外提供的函数method=$1# 向迷你版数据库中存放的keykey=$2# 向迷你版数据库中存储的valuevalue=$3 # key-value 数据存储function db_set() { echo "$key,$value" >> database} # 根据 key 查询数据库存储的 valuefunction db_get() { grep "^$key," database | sed -e "s/^$......
23 天前 / gansteed
SQLAlchemy使用主从与数据库autocommitautocommit，意思就是自动提交。它代表着这么一个行为，如果autocommit设置为True（或1），意味着，每一个传输到DBMS的SQL都会被当作一个事务来执行，并且提交。用MySQL举个例子： -- client 1> select @@autocommit;+--------------+| @@autocommit |+--------------+| 1 |+--------------+1 row in set (0.000 sec)> create table user (id INTEGER PRIMARY KEY, name VARCHAR(32));Query OK, 0 rows affected (0.510 sec)> INSERT INTO user(id, name) VALUES (1, "jhon");-- client 2> INSERT......
38 天前 / 知了一笑
一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 2、数据分析能力OLAP场景特征 大多数是读请求 数据总是以相当大的批(>1000rows)进行写入 不修改已添加的数据 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列 宽表，即每个表包含着大量的列 较少的查询(通常每台服务器每秒数百个查询或更少) 对于......
40 天前 / u553049
数据库发展至今已经有3代了： SQL，传统关系型数据库，例如 MySQLnoSQL，例如 MongoDBnewSQLSQL 的问题互联网在本世纪初开始迅速发展，互联网应用的用户规模、数据量都越来越大，并且要求7X24小时在线。 传统关系型数据库在这种环境下成为了瓶颈，通常有2种解决方法： 升级服务器硬件虽然提升了性能，但总有天花板。 数据分片，使用分布式集群结构对单点数据库进行数据分片，存放到由廉价机器组成的分布式的集群里。 可扩展性更好了，但也带来了新的麻烦。 以前在一个库里的数据，现在跨了多个库，应用系统不能自己去多个库中操作，需要使用......
51 天前 / HueiFeng
总篇70篇 2019年 第44篇一、项目介绍 汽车之家社区于 2005 年上线，作为之家最老的业务之一，十四年来沉淀了亿级帖子、十亿级回复数据，目前每天有千万级 DAU、亿级的访问量，接口日均调用量 10亿+次 。期间经历过架构升级重构、技术栈升级等，但其数据始终存放在SQL Server中，随着数据的不断递增，我们在使用SQL Server 数据库方面遇到了很多瓶颈，以至于我们不得不寻找一个新的数据库替换方案。二、使用SQL Server遇到的瓶颈 随着业务的不断扩大，汽车之家社区的访问量和发表量不断上涨，遇到的数据库问题也越来越多，下面列举两个必须很快......
53 天前 / 钟子敬07
本文源自今年系统架构师大会，我在会上分享《数据库工程架构实践》的前3页PPT，数据库架构设计中的一些基本概念。 画外音：会上分享了近4个小时，见《十年》。所有概念均以“用户中心”举例。 画外音：这是一个提供用户注册、登录、信息查询与修改的常见业务。 一、单库架构单库架构，是业务初期最常见的数据库架构。user-service：用户中心服务，对调用者提供友好的RPC接口user-db：一个库进行数据存储二、分组架构数据库分组架构，即最常见的一主多从，主从同步，读写分离数据库架构： user-service：依旧是用户中心服务user-db-M(master)......
65 天前 / u547646
引子在一次TUG活动中，主持人让大家谈谈选择 TiDB 的原因。我分享了一下从业以来的救火经历，以及如何最终聚焦到 TiDB 的过程。回想起来在这个过程中我们并没有进行严谨的技术论证顶多是进行了大量的业务适配（根据已有业务写案例测试基础软件）。那么哪些非技术因素影响了我们的选择呢？ 痛苦驱动我们不断寻找好的解决方案先回顾一下我在 TUG 分享的故事。200X 年我们为某全国性银行搭建信贷系统，数据库用 Oracle，彼时我在项目组担任 DBA 并承担部分开发任务。至于为什么是 Oracle，原因很简单：行方要求。200X 年以前，金融行业还是 IBM 的天......
67 天前 / 美码师
背景 最近线上的一个工单分析服务一直不大稳定，监控平台时不时发出数据库操作超时的告警。 运维兄弟沟通后，发现在每天凌晨1点都会出现若干次的业务操作失败，而数据库监控上并没有发现明显的异常。 在该分析服务的日志中发现了某个数据库操作产生了 SocketTimeoutException。 开发同学一开始希望通过调整 MongoDB Java Driver 的超时参数来规避这个问题。 但经过详细分析之后，这样是无法根治问题的，而且超时配置应该如何调整也难以评估。 下面是关于对这个问题的分析、调优的过程。 初步分析 ......
68 天前 / flyhero
码上实战 理论实践相结合，做个好好学习的宝宝！^_^ 关注 数据库死锁这个问题不知道你有没有遇到过呢？一旦遇到该如何排查问题呢？ 环境: MySQL 5.7.25 引擎 InnoDB 如果你的系统日志突然报这种错误，就问你慌不慌？心想：MD，之前遇到过，但完全不记得该怎么办了！！！完了完了！被领导知道我解决不了这个问题，不会被开除吧！ 2019-10-23 13:07:17.144 ERROR nested exception is org.springframework.dao.DeadlockLoserDataAccessException: ### Error updating database. Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollba......
78 天前 / 软件工程师涨薪姿势
什么是分片 分片的好处 分片的坏处 基于范围的分片 基于键的分片 基于目录的分片 目前用于拓展大型MySQL应用方案中，数据分片是最通用且成功的，把数据分割成一小块存储到不同的节点中去，大多数应用只会对需要的数据做分片。我们按照下面的流程图来解决分片： 什么是分片[ 分片 ]（Sharding）是一种与水平切分（horizontal partitioning）相关的数据库架构模式——将一个表里面的行，分成多个不同的表的做法（称为分区）。每个区都具有相同的模式和列，但每个表有完全不同的行。同样，每个分区中保存的数据都是唯一的，并且与其......
80 天前 / 软件工程师涨薪姿势
数据库锁提高共享资源并发性的方式是让锁定的对象更加有选择性，尽量只锁定需要修改的部分数据， 而不是所有的资源，更理想的方式是只对会修改的数据片进行精确的锁定。加锁也需要消耗资源，锁的各种操作，包括获得锁，检查锁是否已经解除、释放锁都会增加系统的开销。 读锁 读锁是共享的，或者说是相互不阻塞的，多个客户在同一时刻可以读取同一资源，而不互相干扰。读锁不会产生死锁，有表级读锁和行级读锁。 写锁 则是排他的，也就是说一个写锁会阻塞其他的写锁和读锁，这是出于安全策略的考虑，只有这样，才能确保在给定的时间内，只有一......
83 天前 / openio
前段时间写数据库内核比较多，最近又有朋友问索引的应用了，其实相关索引应用之前或多或少写过，只是可能不这么系统，这一篇简单总结一下，并系统性补充一些概念。画外音：本文基于MySQL5.6。什么是聚集索引，非聚集索引？详见《聚集索引，普通索引的差异》。 索引底层数据结构如何？ 详见《数据库索引，到底是什么做的？》。 InnoDB到底支不支持hash索引？ 详见《InnoDB到底支不支持哈希索引？》。 什么是回表查询，索引的覆盖？详见《如何避免回表查询？什么是索引覆盖？》。什么是联合索引？多个字段上建立的索引，能够加速复核查询条......
86 天前 / 虞大胆
作者介绍 闫晓宇，同程艺龙数据库技术专家，具有多年互联网行业DB运维经验，在游戏、O2O及电商行业从事过DBA运维工作。2016年加入同程艺龙，目前在团队负责数据库架构设计及优化、运维自动化、MySQL监控体系建设、DB私有云平台设计及开发工作。 一、背景 2017年以前我们运维体系的监控主要还是以Zabbix作为主流的解决方案（目前已经不是Zabbix了，运维团队基于Open-Falcon定制开发了一套统一的运维监控系统，当然这是后话了）。当时数据库这部分的监控服务也是使用的监控运维团队提供的服务。总体来说Zabbix的功能还是非常强大的......
89 天前 / LinuxEverything
点击上方蓝色“Linux News搬运工”关注我们~Better guidance for database developersByJake Edge September 24, 2019 LPC 在2019 Linux Plumbers Conference (LPC)会议内第一次的Databases microconference会议上，两位为不同数据库系统工作的开发者针对Linux环境下的开发工作提出了类似的抱怨意见。Richard Hipp，是SQLite数据库的创始人，而Andres Freund是来自PostgreSQL项目，他们都觉得Linux kernel里缺少I/O接口行为的明确定义，尤其是在某些特殊情况下。会议过程表明kernel跟user-space的开发者需要多多交流。 SQLite Hipp......
90 天前 / 美码师
背景 MongoDB 提供了非常强大的性能分析及监控的命令，诸如 mongostat、mongotop 可以让我们对数据库的运行态性能了如指掌。 然而，这次我们在性能环境上就遇到一个非常棘手的问题： 某服务接口在 1-5分钟内偶现超时导致业务失败！ 在接口调用上返回超时属于前端的判断，通常是设置的一个阈值(比如 3s)。 由于问题是偶现，且没办法发现有明显的规律，很难直接判断出原因。 而平台在做了微服务拆分之后，问题定位的难度加大了不少，且当前的调用链功能也不够完善。 问题界定 业务诊断在一番分析后，梳理出接口调用的关系图如下：......