5 小时前 / 尹千觞
简介本篇文章，首先会向大家阐述什么是 Flink connector 和 CDC ， 然后会通过手把手的方式和大家一起构建一个简单的 GBase8s 的 Flink connector,并完成实践项目，即通过 Mysql CDC 实时通过 connector 同步数据到 GBase8s 中。 什么是 Flink connectorFlink 内置了一些基本数据源和接收器，这些数据源和接收器始终可用。该预定义的数据源包括文件、Mysql、RabbitMq、Kafka、ES 等，同时也支持数据输出到文件、Mysql、RabbitMq、Kafka、ES 等。
1 天前 / sjf0115
Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢？你可以理解状态为应用程序算子中的内存。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种事件模式 保存最近一分钟的所有记录，对每分钟的记录进行聚合统计 保存当前的模型参数，用于进行模型训练 但是，有状态的流处理仅在状态可以容错的情况下才建议在生产环境中使用。这里的容错是指即使出现软件或机器故障，计算的最终结果也是准确的，不会出现丢失数据或重复计算的情况。
7 天前 / 张逸
在我们的数据平台产品中，为了简化开发，对 Flink 做了一层封装，定义了 Job 和 Flow 的抽象。一个 Job 其实就是 Flink 的一个作业，每个 Job 可以定义多个 Flow，一个 Flow 可以理解为是 Flink 的一个 DataStream，利用 Job 传递的 StreamExecutionEnvironment 可以在 Flow 中添加包括 Source 与 Sink 的多个算子。 Job 与 Flow 之间的关系可以利用自定义的 @JobFlow 注解进行配置，如此就可以在执行抽象的 AbstractJob 的 run()方法时，利用反射获得该 Job 下的所有 Flow，遍历执行每个 Flow 的 run()方法。
9 天前 / sjf0115
Flink 1.11 Apache Flink 1.11 对 JobManagers 的内存模型和配置选项进行了重大调整。这些最近引入的调整能使 Flink 更加适应各种部署环境（例如 Kubernetes、Yarn、Mesos），并对内存消耗提供严格的控制。上一篇博文重点介绍了 TaskManager 的内存模型以及它在 Flink 1.10 中的改进。这篇文章讨论了相同的主题，但对象变成了 JobManager。Flink 1.11 统一了 Flink 进程内存模型。JobManager 新引入的内存模型与 TaskManager 的类似，不过 JobManager 的更简单，组件也更少。
10 天前 / hivefans东杰
摘要：本文整理自戴尔科技集团软件工程师周煜敏在 Flink Forward Asia 2020 分享的议题《Pravega Flink Connector 的过去、现在和未来》，文章内容为： Pravega 以及 Pravega connector 简介 Pravega connector 的过去回顾 Flink 1.11 高阶特性心得分享未来展望 Pravega 创客大赛介绍 Tips：点击「阅读原文」即可查看原文视频～文末扫码关注 Pravega 创客大赛 GitHub 地址 欢迎大家给Flink点赞送 star~ 一、Pravega 以及 Pravega connector 简介 Pravega 项目的名字来源于梵语，意思是 good speed。
14 天前 / 数栈DTinsightu580540
平台建设背景 传统离线数据开发时效性较差，无法满足快速迭代的互联网需求。伴随着以 Flink 为代表的实时技术的飞速发展，实时计算越来越多的被企业使用，但是在使用中下面提到的各种问题也随之而来。开发者使用门槛高、产出的业务数据质量没有保障、企业缺少统一平台管理难以维护等。在诸多不利因素的影响下，我们决定利用现有的 Flink 技术构建一套完整的实时计算平台。 平台总体架构 从总体架构来看，实时计算平台大体可以分为三层，计算平台、调度平台、资源平台。
18 天前 / hivefans东杰
摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案存储优化的一些思考 Tips：点击文末「阅读原文」即可查看更多技术干货～ GitHub 地址 欢迎大家给Flink点赞送 star~ 一、数据湖和 Iceberg 简介 1. 数据湖生态 如上图所示，对于一个成熟的数据湖生态而言： 首先我们认为它底下应具备海量存储的能力，常见的有对象存储，公有云存储以及 HDFS； 在这之上，也需要支持丰富的数据类型，包括非结构化的图像视频...
23 天前 / sjf0115
Flink 版本 1.13.0 Flink 从 1.5.0 版本开始引入了一种新的状态，称为广播状态。在这篇文章中，我们会解释什么是广播状态以及展示一个示例来说明如何使用广播状态。 1. 什么是广播状态？广播状态可以以某种方式组合处理两个事件流。第一个流的事件被广播到算子所有并行实例上，并存储在状态中。另一个流的事件不会被广播，但是会被发送到同一算子的各个实例上，并与广播流的事件一起处理。这种新的广播状态非常适合低吞吐量和高吞吐量流 Join 或需要动态更新处理逻辑的应用程序。我们将使用一个具体示例来演示如何使用广播状态，并展示具体的 API。
29 天前 / 逗逗
进入主页，点击右上角“设为星标” 比别人更快接收好文章 1. Flink 的容错机制（checkpoint）Checkpoint 容错机制是 Flink 可靠性的基石，可以保证 Flink 集群在某个算子因为某些原因 ( 如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。Flink 的 Checkpoint 机制原理来自“Chandy-Lamport algorithm”算法。 每个需要 Checkpoint 的应用在启动时，Flink 的 JobManager 为其创建一个 CheckpointCoordinator( 检查点协调器)，CheckpointCoordinator 全权负责本应用的快照制作。
34 天前 / sjf0115
摘要：本文由社区志愿者陈政羽整理，Apache Flink 社区在 5 月份发布了 1.13 版本，带来了很多新的变化。文章整理自徐榜江 ( 雪尽)5 月 22 日在北京的 Flink Meetup 分享的《深入解读 Flink SQL 1.13》，内容包括： Flink SQL 1.13 概览核心 feature 解读重要改进解读 FlinkSQL 1.14未来规划 总结 Tips：点击文末「阅读原文」即可查看更多技术干货～ GitHub 地址 https://github.com/apache/flink 欢迎大家给Flink点赞送 star~ 一、Flink SQL 1.13 概览 Flink 1.13 是一个社区大版本，解决的 issue 在 1000 个以上，通过上图我们可以看到...
34 天前 / 尹千觞
挖了很久的 CDC 坑，今天打算填一填了。本文我们首先来介绍什么是 CDC，以及 CDC 工具选型，接下来我们来介绍如何通过 Flink CDC 抓取 mysql 中的数据，并把他汇入 Clickhouse 里，最后我们还将介绍 Flink SQL CDC 的方式。 CDC 首先什么是 CDC ？它是 Change Data Capture 的缩写，即变更数据捕捉的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等操作。
38 天前 / sjf0115
摘要：阿里巴巴技术专家胡争在 4 月 17 日上海站 Meetup 分享，文章内容为借助 Flink 和 Iceberg 来尝试解决数据入湖的相关挑战，帮助业务同学更加高效地聚焦在自身的业务挑战上。内容包括： 数据入湖的核心挑战 Apache Iceberg 介绍 Flink 和 Iceberg 如何解决问题 社区 Roadmap Tips：点击文末「阅读原文」即可查看原文视频～ GitHub 地址 https://github.com/apache/flink 欢迎大家给Flink点赞送 star~ 一、数据入湖的核心挑战 数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
44 天前 / sjf0115
本文介绍了在 Flink 中使用定时器的一些基本概念和注意事项。开发人员可以使用 Flink 的 ProcessFunction 算子来注册自己的定时器，该算子可以访问流应用程序的一些基本构建块，例如： 事件（流元素） 状态（容错，一致性，仅在 KeyedStream 上应用） 定时器（事件时间和处理时间，仅在 KeyedStream 上应用） 有关 Flink ProcessFunction 的更多信息，请参考 Flink 如何使用 ProcessFunction。 1. 什么是定时器定时器可以让 Flink 流处理程序对处理时间和事件时间的变化作出反应。
46 天前 / BloomingRose
本文根据王康老师在〖deeplus 直播第 268 期〗线上分享演讲内容整理而成。（文末有获取本期 PPT& 回放的方式，不要错过） 王康 唯品会 数据平台 高级开发工程师 多年大数据实时计算方面工作经验，负责 Flink SQL 平台的设计与开发工作，致力于为公司提供大规模、高效、稳定的实时数据 SQL 开发平台。曾入职京东物流，负责实时数据平台单表、宽表平台化建设。 自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，我们唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台...
50 天前 / sjf0115
摘要：由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的，基于 Flink + Iceberg 的湖仓一体架构实践，内容包括： 数据仓库架构升级的背景 基于 Iceberg 的湖仓一体架构实践 总结与收益 后续规划 Tips：点击文末「阅读原文」即可查看原文视频～ GitHub 地址 https://github.com/apache/flink 欢迎大家给Flink点赞送 star~ 一、数据仓库架构升级的背景 1. 基于 Hive 的数据仓库的痛点 原有的数据仓库完全基于 Hive 建造而成，主要存在三大痛点： 痛点一：不支持 ACID 1）不支持 Upsert 场景； 2）不支持 Row-level delete...