40 天前 / sjf0115
邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。 作者：Stefan Ricther & Chris Ward 翻译：邱从贤（山智） Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种记录模式 保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计 保存当前的模型参数，用于进行模型训练 ......
88 天前 / PingCAP
本文为 DM 源码阅读系列文章的第九篇，在上篇文章中我们详细介绍了 DM 对 online schema change 方案的同步支持，对 online schema change 同步方案以及实现细节等逻辑进行了分析。 在本篇文章中，我们将对 shard DDL 同步机制以及 checkpoint 机制等进行详细的介绍，内容包括 shard group 的定义、shard DDL 的同步协调处理流程、checkpoint 机制以及与之相关的 safe mode 机制。 shard DDL 机制的实现 DM 中通过库表路由与列值转换功能，实现了对分库分表合并场景下 DML 的同步支持。但当需要同步的各分表存在 DDL 变更时，还需要对 D......
435 天前 / sjf0115
前面，已经有一篇文章讲解了spark的checkpoint:必会:关于SparkStreaming checkpoint那些事儿 同时，浪尖也在知识星球里发了源码解析的文章。spark streaming的Checkpoint仅仅是针对driver的故障恢复做了数据和元数据的Checkpoint。而本文要讲的flink的checkpoint机制要复杂了很多，...
640 天前 / tesths
WAL 模式是 SQLite 3.7.0 版本推出的改进写性能和并发性的功能，至今已经7年多了，但由于WAL是默认关闭的，可能有相当多的应用并没有用上，仍然使用性能较差的传统模式。 微信 APP 开启了 WAL 模式，同时还针对 WAL 做了一点改进 —— 异步 Checkpoint。通过 A/B Test，最终相比传统 Rollback 模式写耗时减少 7...
895 天前 / 孙彪彪--徐州--七牛
首发个人公众号 spark技术分享 , 同步个人网站 coolplayer.net ，未经本人同意，禁止一切转载 我们应该都很熟悉 checkpoint 这个概念， 就是把内存中的变化刷新到持久存储，斩断依赖链 在存储中 checkpoint 是一个很常见的概念， 举几个例子数据库 checkpoint 过程中一般把内存中的变化进行持久化到物理页， 这...