8 天前 / u561252
伴随着 TiDB 6.0 的发布，PingCAP Clinic 服务也揭开了她的面纱，提供 Tech Preview 版本给广大用户试用。Clinic 服务源于 TiDB Cloud，以智能诊断提升 TiDB Cloud SLA ，以 AIOPS 方式降低 TiDB Cloud 成本；同时 Clinic 也会将 Cloud 中积累的诊断经验、运维最佳实践以诊断服务方式提供给本地部署的集群，使所有的云下用户也从中受益。 本次发布的 Tech Preview 版本，对本地部署的用户提供了诊断数据的快速采集和诊断环境的线上复现，当 TiDB 集群遇到问题，邀请 PingCAP 技术支持人员协助远程定位时，或者在 AskTUG 社区提问时...
19 天前 / u561252
本章节介绍如何利用 TiDB 提供的系统监控诊断工具，对运行负载中的查询进行排查和诊断。除了上一章节介绍的通过 EXPLAIN 语句来查看诊断查询计划问题外，本章节主要会介绍通过 TiDB Slow Query 慢查询内存表，以及 TiDB Dashboard 的可视化 Statements 功能来监控和诊断慢查询。 1.Slow Query 慢查询内存表 TiDB 默认会启用慢查询日志，并将执行时间超过规定阈值的 SQL 保存到日志文件。慢查询日志常用于定位慢查询语句，分析和解决 SQL 的性能问题。
82 天前 / kafeidou
TiDB 处理各种灾难故障可谓轻车熟路，但是常言道“天灾易躲，人祸难防”，对于各种误操作、bug 写入错误数据、甚至删库跑路，目前还没什么招。我们项目最初也是为了处理这些“意料之外”的事故。项目最初的名字叫 TiDB Flashback，后来又觉得这个名字过于贫瘠，无法体现项目内容的优越性，后来索性改成了“MVCC 时光机”。 ——渡渡鸟复兴会战队 在 TiDB Hackathon 2021 赛事中，渡渡鸟复兴会赛队的作品“MVCC 时光机”充分利用 MVCC 特性，加强 MVCC 数据的查询、整理、恢复的能力，提高问题处理的效率，摘得了赛事的 “三等奖” 。
86 天前 / u561252
TiCDC 作为 TiDB 的数据同步组件，负责直接从 TiKV 获取数据变更信息并同步到下游。其中比较核心的问题是数据解析正确性问题，具体而言就是如何使用正确的 schema 解析 TiKV 传递过来的 Key-Value 数据，从而还原成正确的 SQL 或者其他下游支持的形式。本文主要通过对 TiDB Online DDL 机制原理和实现的分析，引出对当前 TiCDC 数据解析实现的讨论。 背景和问题 数据同步组件是数据库生态中不可或缺的生态工具，比较知名的开源单机数据库 MySQL 就将数据同步作为 Server 能力的一部分，并基于 MySQL binlog 实现异步 / 半同步 / 同步的主从复制。
87 天前 / HueiFeng
前言 Relay log 类似 binary log，是指一组包含数据库变更事件的文件，加上相关的 index 和 mata 文件，具体细节参考官方文档。在 DM 中针对某个上游开启 relay log 后，相比不开启，有如下优势：不开启 relay log 时，每个 subtask 都会连接上游数据库拉取 binlog 数据，会对上游数据库造成较大压力，而开启后，只需创建一个连接拉取 binlog 数据到本地，各个 subtask 可读取本地的 relay log 数据。 上游数据库对 binlog 一般会有一个失效时间，或者会主动 purge binlog，以清理空间。
107 天前 / HueiFeng
“亿优百倍”是 eBay 智能营销团队推出的系列文章，分享了在营销商品数据服务系统的架构、设计、代码方面的一些理解和研究。在上期的亿优百倍|商品数据服务 TiDB 性能优化 ( 点击阅读)里，我们分享了对 TiDB 进行调优的方法，以提高了 TiDB 在 eBay 平台上使用的性能和稳定性。本期“亿优百倍”，我们分享了 MIS 中缓存层和代码层面的优化经验，以达到稳定的 QPS/IPS 目标。 相关阅读： TiDB 在 eBay 丨亿优百倍：商品数据服务百倍性能优化之路（背景篇） TiDB 在 eBay 丨亿优百倍 ：商品数据服务 TiDB 性能优化（实践篇） 作者丨邹庆楠 & 刘宇辉编辑丨林颖...
108 天前 / HueiFeng
作者介绍 熊浪，平安科技资深数据库架构师，在关系型和非关系型分布式数据库技术领域具有丰富的经验，担任平安集团去 O 分布式项目经理，负责分布式数据库选型和架构设计工作。 平安科技是平安集团旗下科技解决方案专家，践行“科技赋能金融、科技驱动生态”的企业使命，赋能集团金融服务、医疗健康、汽车服务、智慧城市生态圈建设，致力于成为国际领先的科技公司。 UbiSQL 简介 UbiSQL 这个词对大家来说可能比较陌生，UbiSQL 是平安集团内部打造的分布式数据库产品，代码基于 TiDB，完全兼容 TiDB 4.0 版本。
138 天前 / u561252
作者：成臣（Sei Jin）PingCAP Marketing & Community [email protected] Github: it2911 在前不久举办的 KubeCon China 2021 大会上，来自 PingCAP 的成臣，根据日本用户“跨 K8s 网络平面部署 TiDB”的需求，所做的方案调研，带来“用 Kube-OVN 创建一个跨 K8s 的统一网络平面”的分享。 分享中指出，Kube-OVN 具有许多特性，其中集成多个 K8s 网络以开放和创建一个共同的网络平面的特性是其中最吸引人的特性之一。
168 天前 / u128287
作者简介 Army，携程数据库专家，主要负责分布式数据库运维及研究。 Keira，资深数据库工程师，主要负责 MySQL 和 TiDB 运维。 Rongjun，携程大数据架构开发，专注离线和实时大数据产品和技术。 前言 携程自 2014 年左右开始全面使用 MySQL 数据库，随着业务增长、数据量激增，单机实例逐渐出现瓶颈，如单表行数过大导致历史数据查询耗时升高，单库容量过大导致磁盘空间不足等。为应对这些问题，我们采取了诸多措施如分库分表的水平拆分、一主多从读写分离、硬件 SSD 升级、增加前端 Redis 缓存等，但同时也使得整个业务层架构更加复杂...
176 天前 / u561252
常有人说，阅读源码是每个优秀开发工程师的必经之路，但是在面对像类似 TiDB 这样复杂的系统时，源码阅读是一个非常庞大的工程。而对一些 TiDB User 来说，从自己日常遇到的问题出发，反过来阅读源码就是一个不错的切入点，因此我们策划了《带着问题读源码》系列文章。 本文为该系列的第二篇，从一个 Power BI Desktop 在 TiDB 上表现异常的问题为例，介绍从问题的发现、定位，到通过开源社区提 issue、写 PR 解决问题的流程，从代码实现的角度来做 trouble shooting，希望能够帮助大家更好地了解 TiDB 源码。
319 天前 / 咖啡拿铁
背景 tidb 这个技术名词很多同学或多或少都曾经耳闻过，但是很多同学觉得他是分布式数据库，自己的业务是使用 mysql，基本使用不上这个技术，可能不会去了解他。最近业务上有个需求使用到了 tidb，于是学习了一下基本原理，会发现这些原理其实不仅仅局限于分布式数据库这一块，很多技术都是通用的，所以在这里写一下分享一下学习 tidb 的一些心得。 先说说为什么选择 tidb 吧，一般来说在咱们的业务中都是使用的 mysql,但是单机数据库容量和并发性能都有限，对于一些大容量或者高并发的场景我们会选择 sharding-jdbc 去做...
585 天前 / ???米?开?朗?基?杨???
点击 "阅读原文" 可以获得更好的阅读体验。 前言 最近 CNCF 宣布 rook 毕业，kubeSphere 正好也发布了 3.0.0 版本，由于 rancher 开源的 longhorn 还处于孵化阶段，不太适合生产环境使用，这次使用 rook 作为 kubeSphere 底层存储快速搭建一个生产可用的容器平台。 sealos 简介 Sealos[1]官方描述：只能用丝滑一词形容的 Kubernetes 高可用安装工具，一条命令，离线安装，包含所有依赖，内核负载不依赖 haproxy keepalived，纯 Golang 开发，99 年证书，支持 v1.16 ~ v1.19。
654 天前 / Monica2333
LSM Tree（Log-structured merge-tree）广泛应用在 HBase，TiDB 等诸多数据库和存储引擎上，我们先来看一下它的一些应用： 参考资料【4】 这么牛 X 的名单，你不想了解下 LSM Tree 吗？装 X 之前，我们先来了解一些基本概念。设计数据存储系统可能需要考虑的一些问题有：ACID，RUM（Read,Write,Memory）。ACIDACID 相信小伙伴都被面试官问过，我想简单讨论的一点是：如何 持久化数据 才能保证数据写入的 事务性 和 读写性能？事务性可简单理解为：1.数据必须持久化。2.一次数据的写入返回给用户 写入成功就一定成功，失败就一定失败。
908 天前 / PingCAP
在上篇《十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则》中，我们简单介绍了 Cascades 的相关背景知识，本文将为大家深入介绍 TiDB 新的优化器——Cascades Planner 的框架及原理。 TiDB 当前优化器简介 关系型数据库中查询优化器的作用是为一个 SQL 在合理的开销内产生一个合适的查询计划，TiDB 源码阅读系列文章（六）Select 语句概览中介绍过 TiDB 当前优化器的基本组成，TiDB 当前的优化器将优化过程主要分为逻辑优化（Logical Optimize）和物理优化（Physical Optimize）两个阶段。
918 天前 / PingCAP
HAProxy 是一个使用 C 语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于 TCP 和 HTTP 的应用程序代理。GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站，及亚马逊网络服务系统都在使用 HAProxy。 TiDB Server 作为无限水平扩展的无状态计算节点，需要能提供稳定且高性能的负载均衡组件用对外统一的接口地址来提供服务，而 HAProxy 在负载均衡的生态中占有很大的市场，TiDB 用户可以将这一成熟稳定的开源工具应用在自己的线上业务中，承担负载均衡、高可用的功能。