4 天前 / sjf0115
摘要：本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要内容分为以下两部分： 1.Flink-kafka-source 源码解析 流程概述 非 checkpoint 模式 offset 的提交 checkpoint 模式下 offset 的提交 指定 offset 消费 2.Flink-kafka-sink 源码解析 初始化 Task 运行 小结 Tips：Flink 中文社区征稿啦，感兴趣的同学可点击「阅读原文」了解详情～ 1.Flink-kafka-source源码解析 流程概述 一般在 Flink 中创建 kafka source 的代码如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecution...
9 天前 / -江边城外-
● 在表级别和分区级别都支持 INSERT OVERWRITE。● 支持了更多数据类型。（除 UNION 类型都支持）● 支持更多的 DDL。（CREATE TABLE/DATABASE）● 支持在 Flink 中调用 Hive 的内置函数。（Hive 大约 200 多个内置函数）● 支持了更多的 Hive 版本。（Hive 的 1.0.0~3.1.1）● 做了很多性能优化如，Project/Predicate Pushdown，向量的读取 ORC 数据等。● 通过 Module 用户可以使用多种外部系统函数，目前 Module 有两个实现，CoreModule 提供了 Flink 原生的内置函数，HiveModule 提供了 Hive 的内置函数，先加载的 Module 会提供 Function 的定义。
25 天前 / OPPO互联网技术
本文来自OPPO 大数据平台研发负责人张俊在 Flink Forward Asia上的分享。OPPO 基于 Apache Flink 构建实时数仓，在数据规模上单日总数据处理量超 10 万亿，峰值大概超过每秒 3 亿。内容分为以下四个方面： 建设背景 顶层设计 落地实践 未来展望 关于作者：张俊，OPPO 大数据平台研发负责人，主导了 OPPO 涵盖“数据接入-数据治理-数据开发-数据应用”全链路的数据中台建设。2011年硕士毕业于上海交通大学，曾先后工作于摩根士丹利、腾讯，具有丰富的数据系统研发经验，目前重点关注数仓建设、实时计算、OLAP 引擎方向，同时也是Flink开源社区贡献者。
29 天前 / 阿甘_paul
Flink 目前对于外部 Exactly-Once 写支持提供了两种的 sink，一个是 Kafka-Sink，另一个是 Hdfs-Sink，这两种 sink 实现的 Exactly-Once 都是基于 Flink checkpoint 提供的 hook 来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic 拆分、基于小时分析处理等场景下。本篇将会介绍 StreamingFileSink 的基本用法、如何压缩数据以及合并产生的小文件。 一、基本用法 StreamingFileSink 提供了基于行、列两种文件写入格式，用法： // 行 StreamingFileSink.forRowFormat(new Path(path), new SimpleStringEncoder()).withBucketAssigner(new PaulAs...
38 天前 / CainGao0
复杂事件处理 (CEP)既是把不同的数据看做不同的事件，并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤，聚合，关联性，依赖，层次等技术，最终实现由简单关系产生高级事件关系。 复杂事件处理当前主要用于信用卡欺诈检测、用户风险检测、设备故障检测、攻击行为分析等领域。 Apache Flink 中基于 DataSet Api 提供了 FlinkCEP 的组件栈，专门应用于复杂事件处理方向。Apache Flink 另外也为机器学习方向提供了 Flink ML 和图计算方向的 Gelly 组件栈。今天主要来看一下 Flink CEP。
41 天前 / 一猿小讲
1 通过上期的分享，我们对 Metrics 类库有了较深入的认识，并对指标监控的几个度量类型了如指掌。 本期，我们将走进当下最火的流式处理框架 flink 的源码，一同深入并学习一下别人家的代码。 2 会当凌绝顶，一览众山小。先从全局了解个梗概，然后再采用剥洋葱的方式逐层去解密。 我本地的源码是 flink-1.8.1 版本，打开源码，进入 flink-metrics 模块，发现很多以 flink-metrics- 开头的系列模块。 映入眼帘的 flink-metrics 系列模块虽然很多，不用发愁。
48 天前 / sjf0115
Flink1.10 刚刚发布，这个版本周期内号主将主要方向转向数据湖社区（ApacheHudi），在重要特性中包含一个特性由号主贡献： [FLINK13025]ThereisanewElasticsearchsinkconnector,fullysupportingElasticsearch7.xversions. Flink 1.10 是一个历时非常长、代码变动非常大的版本。这个版本包含处理的 Jira issue 数目多达 1200+ 个，总共有近 218 个贡献者参与了这个版本的开发。此版本对 Flink 作业的整体性能和稳定性进行了重大改进，对 Kubernetes 原生集成进行了预览并在 Python 支持方面取得了重大进展（PyFlink）。
52 天前 / sjf0115
上篇博客提到 Flink SQL 如何 Join 两个数据流，有读者反馈说如果不打算用 SQL 或者想自己实现底层操作，那么如何基于 DataStream API 来关联维表呢？实际上由于 Flink DataStream API 的灵活性，实现这个需求的方式是非常多样的，但是大部分用户很难在设计架构时就考虑得很全面，可能会走不少弯路。 针对于此，笔者根据工作经验以及社区资源整理了用 DataStream 实现 Join 维表的常见方式，并给每种的方式优劣和适用场景给出一点可作为参考的个人观点。
68 天前 / 阿甘_paul
点击箭头处“蓝色字”，关注我们哦！！ 那把锁锁用于多线程安全场景下，在 Flink 中存在一把锁，被用于数据处理线程、定时器调用线程、checkpoint 线程。在 StreamTask 中定义了一个 Object 对象 lock，通过使用 synchronized 方式进行同步，在 task 的初始化过程中该对象传给了 SystemProcessingTimeService、StreamInputProcessor、StreamTwoInputProcessor。 数据处理线程 这里所说的数据处理线程表示正常的数据处理流程，可以认为就是 processElement 处理过程...
78 天前 / 阿甘_paul
点击箭头处“蓝色字”，关注我们哦！！ 2019 年的主要工作就是围绕 Flink 来做一些事情，分为以下几个方面： 一、实时流平台 二、实时监控 三、实时数仓 四、实时业务开发 接下来详细说一下在这几个方面做的一些事情以及如何解决遇到的一些问题与将要做的事情。 一、实时流平台 首先看一下目前关于 Flink 使用的整体架构图，任务执行模式选择 per-job on yarn，方便于经常会对集群资源动态调整的需求，每个任务的日志也可以单独剥离开来方便排查问题。
85 天前 / 披头士
首页下载APPflink解析之state神奇的考拉关注赞赏支持flink解析之state一。 概述在流计算场景中，数据没有边界源源不断的流入的，每条数据流入都可能会触发计算，比如在进行count或sum这些操作，是选择每次触发计算将所有流入的历史数据重新计算一边还是每次计算都基于上次计算结果进行增量计算呢？ 从综合考虑角度，很多人都会 选择增量计算，那么问题就产生了：上一次的中间计算结果保存在哪里？内存？这其中会由于本身的网络，硬件或软件等问题造成某个计算节点失败，对应的上次计算结果就会丢失，在节点恢复时，是需要将所有历史数据重新计算一遍的...
87 天前 / 阿甘_paul
点击箭头处“蓝色字”，关注我们哦！！ 从19年10月份开始决定写这些东西，不知不觉写了43篇文章，真的没想到自己能够坚持下来，每一篇文章都是从自己工作中总结出来的，每写一个系列都需要翻阅源码、查看资料、验证或者向一些同学请教，需要花很大的精力，但是这个过程中自己也收获了很多，也会收到一些同学的肯定，也会有一些同学给我私发红包的，但是被我拒绝了，首先很感谢大家的肯定，如果你觉得不错或者对你有帮助，希望能够动动手指让更多人的看到，自己也会坚持下去为大家带来更好的东西。
94 天前 / 阿甘_paul
点击箭头处“蓝色字”，关注我们哦！！ 心跳机制通过定期向对方发送请求方式用于检测客户端或者服务端是否存活的一种机制，常见的心跳检测有两种： socket 套接字SO_KEEPALIVE本身带有的心跳机制，定期向对方发送心跳包，对方在收到心跳包后会自动回复； 应用自身实现心跳机制，同样也是使用定期发送请求的方式 Flink中ResourceManager、JobMaster、TaskExecutor三者之间存在相互检测的心跳机制，ResourceManager会主动发送请求探测JobMaster、TaskExecutor是否存活，JobMaster也会主动发送请求探测TaskExecutor是否存活...