6 天前 / sjf0115
背景在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点： 流量大，并发高（最大的任务并行度超过 1w）拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpoint 没有使用 Checkpoint 并且对短时间内的小部分数据丢失不敏感（如 0.5%），但对数据输出的持续性要求极高在 Flink 现有的架构设计中，多流 Join 拓扑下单个 Task 失败会导致所有 Task 重新部署，耗时可能会持续几分钟，导致作业的输出断流，这对于线上业务来说是不可接受的。
7 天前 / sjf0115
本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后，重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时，下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。 本文分为以下几个部分： 「1.本次踩坑的应用场景」「2.应用场景中发生的丢数故障分析」「3.待修复的故障点」「4.丢数故障解决方案及原理」「5.总结」应用场景应用场景如下： 「flink 任务 A」 以「处理时间」语义做过滤产出新增 xx 明细数据至 「Kafka Y」「flink 任务 B」 以「事件时间」语义消费 「Kafka Y」 做窗口聚合操作产出分钟级别聚合指标...
11 天前 / b_aihe
checkPoint基本概念为了保证state的容错性，Flink需要对state进程checkPoint。Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些快照进行恢复，从而修正因为故障带来的程序数据异常。 checkPoint步骤暂停新数据的输入等待流中on-the-fly的数据被处理干净，此时得到flink graph的一个snapshot将所有Task中的State拷贝到State Backend中，如HDFS。
18 天前 / sjf0115
在线机器学习与离线相比，在模型更新的时效性，模型的迭代周期，业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。 在线机器学习中，样本是关键的一环。本文将给大家详细的介绍微博是如何用 Flink 来实现在线样本生成的。 为何选择 Flink 来做在线的样本生成？ 在线样本生成对样本的时效性和准确性都有极高的要求。同样对作业的稳定性及是否容灾也都有严格的指标要求。
26 天前 / sjf0115
流与表的关系 Flink 是流批统一的计算引擎，尤其在流计算方面有着天然的架构优势，用户可以通过写 SQL 的方式完成 Flink 流计算任务的开发，SQL 又是几十年来传统数据库中表的操作语言，那么流与表到底有怎样的关系呢？如下图所示，一张表可以看做为流吗？同样流可以看做是一张表吗？如果可以需要怎样的条件和变通？ MySQL 主备复制 在介绍流与表的关系之前我们先聊聊 MySql 的主备复制，binlog 是 MySql 实现主备复制的核心手段，简单来说 MySql 主备复制实现分成三个步骤： Master 将改变 (change logs)以二进制日志事件 (binary log ervets)形式记录到二...
27 天前 / sjf0115
本文主要以 Flink 中使用 LinkedHashMap 展开，讲述 Kryo 序列化的一些实战采坑记。 解决问题的一般流程：从任务的异常现象猜想可能导致异常的原因，改动某些参数或代码去验证猜想是否合理，最终想办法解决问题。 本文也是通过上述流程一步步解决了线上任务的问题，整体流程： 1、 看到现象猜想可能是序列化有问题 2、 修改 StateBackend 后结果正确，验证了猜想的正确性 3、 解释了为什么 LinkedHashMap 会序列化出错 4、 列出了具体的解决方案...
54 天前 / sjf0115
分享嘉宾：于茜 微博高级算法工程师 编辑整理：王洪达 内容来源：Flink Forward 导读：微博作为国内比较主流的社交媒体平台，目前拥有 2.22 亿日活用户和 5.16 亿月活用户。如何为用户实时推荐优质内容，背后离不开微博的大规模机器学习平台。本文由微博机器学习研发中心高级算法工程师于茜老师分享，主要内容包含以下四部分： 关于微博 微博机器学习平台 ( WML ) 总览 Flink 在 WML 中的应用 使用 Flink 的下一步计划 01 关于微博 微博 2008 年上线，是目前国内比较主流的社交媒体平台，拥有 2.22 亿日活用户和 5.16 亿月活用户...
55 天前 / Rico
什么是流式处理呢？这个问题其实我们大部分时候是没有考虑过的，大多数，我们是把流式处理和实时计算放在一起来说的。我们先来了解下，什么是数据流。 数据流（事件流）数据流是无边界数据集的抽象我们之前接触的数据处理，大多都都是有界的。例如：处理某天的数据、某个季度的数据等无界意味着数据是无限地、持续增长的数据流会随着时间的推移，源源不断地加入进来数据流无处不再信息卡交易电商购物快递网络交换机的流向数据设备传感器发出的数据…这些数据都是无穷无尽的每一件事情...
70 天前 / sjf0115
在 Flink 中，EventTime 即事件时间，能够反映事件在某个时间点发生的真实情况，即使在任务重跑情况也能够被还原，计算某一段时间内的数据，那么只需要将 EventTime 范围的数据聚合计算即可，但是数据在上报、传输过程中难免会发生数据延时，进而造成数据乱序，就需要考虑何时去触发这个计算，Flink 使用 watermark 来衡量当前数据进度，使用时间戳表示，在数据流中随着数据一起传输，当到 watermark 达用户设定的允许延时时间，就会触发计算。
75 天前 / 过往记忆大数据
供稿 | Rheos Team 徐朝晖编辑 | 顾欣怡本文 2238 字，预计阅读时间 7 分钟 实时数据处理是当前数据生态的热门关注环节，是业务创新的重要前提。Flink 从诞生之初就定位于实时计算的框架和引擎，演化至今，已经发展成为实时数据处理领域的佼佼者。然而，Flink 的使用门槛比较高，加上集群本身的维护和 job 状态管理并不容易，业务开发者们往往就会望而却步。事实上，我们仍有多种途径可以使 Flink 更加服务化、便捷化。
84 天前 / 尹千觞
I.前言 前两天转了章大的 zeppelin 系列教程（以下简称“教程”），我也好好的研究学习了一波。 我曾无数次鼓吹基于 Jupyter 的应用，也相信在未来数据分析领域，他会有自己的一席之地。对话式的管家服务，真是谁用谁知道。.. 以下内容摘自“教程”： 下面是 Zeppelin 和 Flink 的故事。 Flink 问：虽然我提供了多种语言支持，有 SQL，Java，Scala 还有 Python，但是每种语言都有自己的入口，用户很难多种语言混着用。比如在 sql-client 中只能运行 Sql，不能写 UDF，在 pyflink shell 里，只能用 python 的 udf，不能用 scala 和 java 的 udf。
86 天前 / sjf0115
实际问题 在流计算场景中，数据会源源不断的流入 Apache Flink 系统，每条数据进入 Apache Flink 系统都会触发计算。如果我们想进行一个 Count 聚合计算，那么每次触发计算是将历史上所有流入的数据重新计算一次，还是每次计算都是在上一次计算结果之上进行增量计算呢？答案是肯定的，Apache Flink 是基于上一次的计算结果进行增量计算的。那么问题来了： "上一次的计算结果保存在哪里，保存在内存可以吗？"，答案是否定的，如果保存在内存，在由于网络，硬件等原因造成某个计算节点失败的情况下，上一次计算结果会丢失，在节点恢复的时候...
87 天前 / sjf0115
整理：张宋庆（Flink 社区志愿者） 校对：李庆（Flink 社区志愿者） 摘要：本文由阿里巴巴高级运维工程师杨阳（时溪）分享，主要介绍阿里巴巴常见问题诊断模块与思路，内容涵盖以下几个方面： 常见运维问题 问题处理方式 作业生命周期 工具化经验 Tips：点击「阅读原文」链接可查看作者原版 PPT 及分享视频～ 1.常见运维问题 1.1 作业运行环境 本文中介绍的作业运行环境主要是在阿里巴巴集团内，构建在 Hadoop 生态之上的 Flink 集群，包含 Yarn、HDFS、ZK 等组件；作业提交模式采用 yarn per-job Detached 模式。
93 天前 / 尹千觞
如果你是 Flink 的学习者或者爱好者，除了学习 Flink 本身之外，你是否在寻找一款 Flink 的开发部署工具。很幸运，Apache 社区就有这么一款工具：Zeppelin。而且他可能是开源届最好的 Flink 开发平台。 下面是 Zeppelin 和 Flink 的故事。 Flink 问：虽然我提供了多种语言支持，有 SQL，Java，Scala 还有 Python，但是每种语言都有自己的入口，用户很难多种语言混着用。比如在 sql-client 中只能运行 Sql，不能写 UDF，在 pyflink shell 里，只能用 python 的 udf，不能用 scala 和 java 的 udf。有没有谁能帮我把这些语言全部打通。
97 天前 / sjf0115
整理：吕宴全（Flink 社区志愿者） 摘要：本文由Apache Pulsar Committer，StreamNative 高级工程师申毅杰老师分享，社区志愿者吕宴全整理。本次分享将会分成以下四个内容展开： Pulsar 简介 Pulsar 架构 Pulsar Connector 内部机制未来规划 Tips：点击「阅读原文」，可查看更多 Flink 生态直播～ Apache Pulsar 是 Yahoo 开源的下一代分布式消息系统，在 2018 年 9 月从 Apache 软件基金会毕业成为顶级项目。Pulsar 特有的分层分片的架构，在保证大数据消息流系统的性能和吞吐量的同时，也提供了高可用性、高可扩展性和易维护性。