130 天前 / kafeidou
Flink 是一个分布式的流处理引擎，而流处理的其中一个特点就是 7X24。那么，如何保障 Flink 作业的持续运行呢？Flink 的内部会将应用状态 (state)存储到本地内存或者嵌入式的 kv 数据库 (RocksDB)中，由于采用的是分布式架构，Flink 需要对本地生成的状态进行持久化存储，以避免因应用或者节点机器故障等原因导致数据的丢失，Flink 是通过 checkpoint( 检查点)的方式将状态写入到远程的持久化存储，从而就可以实现不同语义的结果保障。通过本文，你可以了解到什么是全局一致性检查点，Flink 内部如何通过检查点实现 Exactly Once 的结果保障。
527 天前 / 逗逗
一、什么是 checkpoint 上次发文，提到了 Flink 可以非常高效的进行有状态流的计算，通过使用 Flink 内置的 Keyed State 和 Operator State，保存每个算子的状态。 默认情况下，状态是存储在 JVM 的堆内存中，如果系统中某个环节发生了错误，宕机，这个时候所有的状态都会丢失，并且无法恢复，会导致整个系统的数据计算发生错误。 此时就需要 Checkpoint 来保障系统的容错。Checkpoint 过程，就是把算子的状态周期性持久化的过程。 在系统出错后恢复时，就可以从 checkpoint 中恢复每个算子的状态，从上次消费的地方重新开始消费和计算。
617 天前 / b_aihe
checkPoint基本概念为了保证state的容错性，Flink需要对state进程checkPoint。Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些快照进行恢复，从而修正因为故障带来的程序数据异常。 checkPoint步骤暂停新数据的输入等待流中on-the-fly的数据被处理干净，此时得到flink graph的一个snapshot将所有Task中的State拷贝到State Backend中，如HDFS。
994 天前 / sjf0115
邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。 作者：Stefan Ricther & Chris Ward 翻译：邱从贤（山智） Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种记录模式 保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计 保存当前的模型参数...
1042 天前 / PingCAP
本文为 DM 源码阅读系列文章的第九篇，在上篇文章中我们详细介绍了 DM 对 online schema change 方案的同步支持，对 online schema change 同步方案以及实现细节等逻辑进行了分析。 在本篇文章中，我们将对 shard DDL 同步机制以及 checkpoint 机制等进行详细的介绍，内容包括 shard group 的定义、shard DDL 的同步协调处理流程、checkpoint 机制以及与之相关的 safe mode 机制。 shard DDL 机制的实现 DM 中通过库表路由与列值转换功能，实现了对分库分表合并场景下 DML 的同步支持。
1389 天前 / sjf0115
前面，已经有一篇文章讲解了spark的checkpoint:必会:关于SparkStreaming checkpoint那些事儿 同时，浪尖也在知识星球里发了源码解析的文章。spark streaming的Checkpoint仅仅是针对driver的故障恢复做了数据和元数据的Checkpoint。
1594 天前 / tesths
WAL 模式是 SQLite 3.7.0 版本推出的改进写性能和并发性的功能，至今已经7年多了，但由于WAL是默认关闭的，可能有相当多的应用并没有用上，仍然使用性能较差的传统模式。 微信 APP 开启了 WAL 模式，同时还针对 WAL 做了一点改进 —— 异步 Checkpoint。
1849 天前 / 孙彪彪--徐州--七牛
首发个人公众号 spark技术分享 , 同步个人网站 coolplayer.net ，未经本人同意，禁止一切转载 我们应该都很熟悉 checkpoint 这个概念， 就是把内存中的变化刷新到持久存储，斩断依赖链 在存储中 checkpoint 是一个很常见的概念， 举几个例子数据库 checkpoint 过程中一般把内存中的变化进行持久化到物理页...