5 天前 / 尹千觞
如果你是 Flink 的学习者或者爱好者，除了学习 Flink 本身之外，你是否在寻找一款 Flink 的开发部署工具。很幸运，Apache 社区就有这么一款工具：Zeppelin。而且他可能是开源届最好的 Flink 开发平台。 下面是 Zeppelin 和 Flink 的故事。 Flink 问：虽然我提供了多种语言支持，有 SQL，Java，Scala 还有 Python，但是每种语言都有自己的入口，用户很难多种语言混着用。比如在 sql-client 中只能运行 Sql，不能写 UDF，在 pyflink shell 里，只能用 python 的 udf，不能用 scala 和 java 的 udf。有没有谁能帮我把这些语言全部打通。
9 天前 / sjf0115
整理：吕宴全（Flink 社区志愿者） 摘要：本文由Apache Pulsar Committer，StreamNative 高级工程师申毅杰老师分享，社区志愿者吕宴全整理。本次分享将会分成以下四个内容展开： Pulsar 简介 Pulsar 架构 Pulsar Connector 内部机制未来规划 Tips：点击「阅读原文」，可查看更多 Flink 生态直播～ Apache Pulsar 是 Yahoo 开源的下一代分布式消息系统，在 2018 年 9 月从 Apache 软件基金会毕业成为顶级项目。Pulsar 特有的分层分片的架构，在保证大数据消息流系统的性能和吞吐量的同时，也提供了高可用性、高可扩展性和易维护性。
11 天前 / 雨后天空
点击上方“zhisheng”，选择“设为星标” 后台回复"666"，获取新资料 之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及需要关注的监控指标有哪些。本文带大家讲解一下如何搭建一套完整的 Flink 监控系统，如果你所在的公司没有专门的监控平台，那么可以根据本文的内容来为公司搭建一套属于自己公司的 Flink 监控系统。 利用 API 获取监控数据熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细地展示了很多监控指标的数据，并且这些指标还是比较重要的，所以如果不想搭建额外的监控系统...
23 天前 / sjf0115
整理：杨涛（Flink 社区志愿者） 摘要：本文主要分享 Flink 的 CheckPoint 机制、反压机制及 Flink 的内存模型。对这 3 部分内容的熟悉是调优的前提，文章主要从以下几个部分分享： 原理剖析 性能定位 经典场景调优 内存调优 Tips：后台回复关键字「调优」即可下载作者分享的 PPT～ Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能，定期把 state 持久化下来，而这一持久化的过程就叫做 checkpoint ，它是 Flink Job 在某一时刻全局状态的快照。
27 天前 / sjf0115
整理：lyee（Flink 社区志愿者） 摘要：本文根据 Flink Forward 全球在线会议 · 中文精华版整理而成，围绕着项目的开始、需求分析、开发，以及测试、上线、运维整个生命周期展开，介绍了 Apache Flink 实践中的一些典型误用情况，并给出了相应的更优实践方案。 Flink 实践中最首当其冲的误用就是不按迭代开发的过程操作。最佳实践应该遵循迭代开发的步骤进行，包含以下几个阶段： 项目开始涉及分析开发测试上线维护 Tips：点击「阅读原文」可查看更多Flink 社区最新动态～ 1. 项目开始 在开始开发前，我们需要选择正确的切入方式...
27 天前 / 过往记忆大数据
首先恭喜 Table/SQL 的 blink planner 成为默认 Planner，撒花、撒花。 Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外，Flink 1.11 完善了 Flink 自身的 Filesystem connector，大大提高了 Flink 的易用性。 数仓架构 离线数仓 传统的离线数仓是由 Hive 加上 HDFS 的方案，Hive 数仓有着成熟和稳定的大数据分析能力，结合调度和上下游工具，构建一个完整的数据处理分析平台，流程如下： Flume 把数据导入 Hive 数仓 调度工具，调度 ETL 作业进行数据处理 在 Hive 数仓的表上...
31 天前 / sjf0115
Flink 1.11 features 已经冻结，流批一体在新版中是浓墨重彩的一笔，在此提前对 Flink 1.11 中流批一体方面的改善进行深度解读，大家可期待正式版本的发布。 首先恭喜 Table/SQL 的 blink planner 成为默认 Planner，撒花、撒花。 Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外，Flink 1.11 完善了 Flink 自身的 Filesystem connector，大大提高了 Flink 的易用性。
37 天前 / 过往记忆大数据
整理| 高赟、程鹤群 Review | 王治江 Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致力于进一步提高 Flink 的可用性及性能。 本文将详细介绍 1.11 版本的新功能、改进、重要变化及未来的发展计划。 集群部署与资源管理 在集群部署方面 1.[FLIP-85] Flink 支持 Application Mode 目前 Flink 是通过一个单独的客户端来创建 JobGraph 并提交作业的，在实际使用时...
46 天前 / sjf0115
相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉 [1]，再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Flink 内存管理的用户来说十分难以排查，而且 Flink 晦涩难懂的内存配置参数更是让用户望而却步，结果是往往将内存调大至一个比较浪费的阈值以尽量避免内存问题。
51 天前 / 浪尖
本文整理自 Flink Forward 全球在线会议，演讲者云邪，由浪尖整理。 1. Flink table/sql 架构演变 flink 1.9 之前的版本，对于 Table API 和 SQL 的底层实现结构如下图，可以看处流处理和批处理有各自独立的 api ( 流处理 DataStream，批处理 DataSet)。而且有不同的执行计划解析过程，codegen 过程也完全不一样，完全没有流批一体的概念，面向用户不太友好。 自 flink 1.9 之后的版本，在 Flink Planner 基础上，增加了 Blink Planner，架构图如下： 自 flink 1.9 版本为了兼容老版本 Table 及 SQL 模块，插件化实现了 Planner...
55 天前 / sjf0115
随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外，随着 5G 技术的成熟、广泛应用， 对于工业互联网、物联网等数据时效性要求非常高的行业，企业就更需要一套完整成熟的实时数据体系来提高自身的行业竞争力。 本文从上述现状及实时数据需求出发，结合工业界案例、笔者的实时数据开发经验， 梳理总结了实时数据体系建设的总体方案...
74 天前 / sjf0115
微博机器学习平台使用 Flink 实时处理用户行为日志和生成标签，并且在生成标签后写入存储系统。为了降低存储系统的 IO 负载，有批量写入的需求，同时对数据延迟也需要进行一定的控制，因此需要一种有效的消息聚合处理方案。 在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案，描述不同方案中可能遇到的问题和解决方法，并进行对比。 基于 flatMap 的解决方案 这是我们能够想到最直观的解决方案，即在自定义的 flatMap 方法中对消息进行聚合，伪代码如下： 对应的作业拓扑和运行状态如下： 该方案的优点如下： 逻辑简单直观...
88 天前 / sjf0115
摘要：本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要内容分为以下两部分： 1.Flink-kafka-source 源码解析 流程概述 非 checkpoint 模式 offset 的提交 checkpoint 模式下 offset 的提交 指定 offset 消费 2.Flink-kafka-sink 源码解析 初始化 Task 运行 小结 Tips：Flink 中文社区征稿啦，感兴趣的同学可点击「阅读原文」了解详情～ 1.Flink-kafka-source源码解析 流程概述 一般在 Flink 中创建 kafka source 的代码如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecution...