28 天前 / sjf0115
摘要：本文整理自 Apache Flink Committer、Flink CDC Maintainer、阿里巴巴高级开发工程师徐榜江（雪尽）在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括： Flink CDC 技术传统数据集成方案的痛点基于 Flink CDC 的海量数据的实时同步和转换 Flink CDC 社区发展 Tips：点击「阅读原文」获取演讲 PDF～ 01 Flink CDC 技术 CDC 是 Change Data Capture 的缩写，是一种捕获变更数据的技术，CDC 技术很早就存在，发展至今，业界的 CDC 技术方案众多，从原理上可以分为两大类： 一类是基于查询的 CDC 技术 ，比如 DataX。
30 天前 / sjf0115
导读：本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交，实现 MySQL 数据库分库分表实时高效接入，并实现 Exactly Once。 作者｜Apache Doris PMC 成员 张家锋 概述 在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。 但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据合并成一个库、一个表，便于我们后面的数据分析。
58 天前 / sjf0115
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括： MongoDB Change Stream 技术简介 MongoDB CDC Connector 业务实践 MongoDB CDC Connector 生产调优 MongoDB CDC Connector 并行化 Snapshot 改进后续规划 Tips：点击「阅读原文」获取演讲 PDF～ 01 MongoDB Change Stream 技术简介 MongoDB 是一种面向文档的非关系型数据库，支持半结构化数据存储；也是一种分布式的数据库，提供副本集和分片集两种集群部署模式，具有高可用和水平扩展的能力，比较适合大规模的数据存储。
66 天前 / u561252
我很高兴与大家分享 Debezium2.0.0.Alpha2 已经发布！ 此版本包含大量错误修复和改进，总共解决了 110 个问题。只是，哇！ 一些值得注意的变化包括增量快照获得了对正则表达式的支持和一个新的停止信号。我们还进行了一些内务管理，并删除了一些不推荐使用的配置选项以及遗留的 MongoDB oplog 实现。 让我们更详细地看一下这些。 增量快照更改首先，增量快照取得了巨大的成功。我们从社区获得的反馈对于这个过程的工作原理以及它如何帮助简化捕获更改，特别是对于拥有非常大数据集的用户来说，是非常积极的。
70 天前 / sjf0115
摘要：本文整理自大健云仓基础架构负责人、Flink CDC Maintainer 龚中强在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括： 引入 Flink CDC 的背景现今内部落地的业务场景未来内部推广及平台化建设社区合作 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、引入 Flink CDC 的背景 公司引入 CDC 技术，主要基于以下四个角色的需求： 物流科学家：需要库存、销售订单、物流账单等数据用于做分析。 开发：需要同步其他业务系统的基本信息。 财务：希望财务数据能够实时传送到财务系统，而不是月结前才能看到。
89 天前 / 浪客书心
点击关注下方公众号，架构师全套资料都在这里 0、2T 架构师学习资料干货分享上一篇：Nacos 2.1.0 正式发布！堪称最强！ 大家好，我是互联网架构师。 这篇文章是对变更数据捕获 (CDC)实践的介绍，而不是对特定工具的深入探讨。 假设我们正在构建一个简单的 Web 应用程序。在大多数情况下，此类项目从最小的数据架构开始。例如，像 MySQL 或 PostgreSQL 这样的关系数据库足以处理和存储许多用户可以使用的数据。他们输入查询，更新它们，关闭它们，更正它们，通常会执行许多操作。它可以是 CRM、ERP、自动银行系统、计费系统，甚至是 POS 终端，应有尽有。
94 天前 / sjf0115
最近在网上看到 Netflix 发的一篇 Paper：《DBLog: A Watermark Based Change-Data-Capture Framework》3，可以在不中断 CDC 过程，不锁表的情况下，在任意时刻捕获表的 full state。且能实现随时终止、随时恢复的能力。So，这里对该论文做一个剖析、解读。 我们在建立一个 OLTP 数据库的表到大数据链路的过程，通常分为两步： bootstrap：历史存量数据的初始“导入”； incremental ingestion：增量摄取，也即我们常说的 CDC 的过程； 在老的方案中，尤其是我司数千个表的入湖，都是拆分为这两步串行来做的。我们称之为：全量 + 增量以及全量增量衔接。
164 天前 / kafeidou
我很高兴地宣布 Debezium1.9.0.Beta1 的发布！ 此版本包括 Debezium Server 的许多新功能，包括 Knative Eventing 支持和使用 Redis 接收器的偏移存储管理、SQL Server 连接器的多分区缩放以及各种错误修复和改进。总体而言，此版本已修复 56 个问题。 让我们仔细看看其中的几个。 Debezium Server Knative Eventing 自从在 1.2 版中引入 Debezium 产品组合以来，Debezium Server 已经发展了很多。在这个版本中，我们添加了一个新的接收器实现来支持 Knative Eventing。
169 天前 / u561252
TiCDC 作为 TiDB 的数据同步组件，负责直接从 TiKV 获取数据变更信息并同步到下游。其中比较核心的问题是数据解析正确性问题，具体而言就是如何使用正确的 schema 解析 TiKV 传递过来的 Key-Value 数据，从而还原成正确的 SQL 或者其他下游支持的形式。本文主要通过对 TiDB Online DDL 机制原理和实现的分析，引出对当前 TiCDC 数据解析实现的讨论。 背景和问题 数据同步组件是数据库生态中不可或缺的生态工具，比较知名的开源单机数据库 MySQL 就将数据同步作为 Server 能力的一部分，并基于 MySQL binlog 实现异步 / 半同步 / 同步的主从复制。
177 天前 / sjf0115
点击上方“朱小厮的博客”，选择“设为星标” 后台回复"书"，获取 后台回复“k8s”，可领取 k8s 资料 这篇文章是对变更数据捕获 (CDC)实践的介绍，而不是对特定工具的深入探讨。 假设我们正在构建一个简单的 Web 应用程序。在大多数情况下，此类项目从最小的数据架构开始。例如，像 MySQL 或 PostgreSQL 这样的关系数据库足以处理和存储许多用户可以使用的数据。他们输入查询，更新它们，关闭它们，更正它们，通常会执行许多操作。它可以是 CRM、ERP、自动银行系统、计费系统，甚至是 POS 终端，应有尽有。
219 天前 / sjf0115
点击蓝字 关注我们 背景 目前参与的项目属于公司里面数据量大、计算密集的一个重要业务项目，需要提供高效且准确的 OLAP 服务，并提供灵活且实时的报表。业务数据存储在 MySQL 中，数据增长多而且快，出现了多个千万级、亿级的大表。随着数据量的日益增长和实时分析的需求越来越大，急需对系统进行流式计算、实时化改造。正是在这个背景下，开始了我们与 Apache SeaTunnel 的故事。 01 方案概述 我们基于 SeaTunnel 提出了把报表的数据实时化的方案，该方案主要通过 SeaTunnel CDC + Elasticsearch 实现。
307 天前 / sjf0115
1. 简介 CDC 的全称是 Change Data Capture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛： 数据同步：用于备份，容灾； 数据分发：一个数据源分发给多个下游系统； 数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。 CDC 的技术方案非常多，目前业界主流的实现机制可以分为两种： 基于轮询的 CDC：用户通常会在数据源表的某个字段中，保存上次更新的时间戳或版本号等信息...
641 天前 / CainGao0
CDC (Change Data Capture)Flink 在 1.11 版本中新增了 CDC 的特性，简称 改变数据捕获。名称来看有点乱，我们先从之前的数据架构来看 CDC 的内容。 以上是之前的 mysql binlog 日志处理流程，例如 canal 监听 binlog 把日志写入到 kafka 中。而 Apache Flink 实时消费 Kakfa 的数据实现 mysql 数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。 mysql 开启 binlogcanal 同步 binlog 数据写入到 kafkaflink 读取 kakfa 中的 binlog 数据进行相关的业务处理。整体的处理链路较长，需要用到的组件也比较多。
1106 天前 / ThoughtWorks
浅谈CDC在微服务中的应用2019年8月2日by 李海峰Leave a CommentCDC(Change Data Capture)是一种通过监测数据变更（变更包括新增、修改、删除等）而对变更的数据进行进一步处理的一种设计模式，通常应用在数据仓库以及和数据库密切相关的一些应用上，比如数据同步、备份、审计、ETL等。实际上，早在二十多年前，CDC就已经用来将应用系统的数据变更实时发送到数据仓库，进一步转换后传递到数据分析系统，这样能够在极小地影响生产的情况下，有效而及时地将数据传递到消费方。