11 小时前 / zhishemg
本文整理自去年8月11日在北京举行的 Flink Meetup 会议，分享嘉宾施晓罡，目前在阿里大数据团队部从事Blink方面的研发，现在主要负责Blink状态管理和容错相关技术的研发。公众号(zhisheng)内回复 Flink 可获得相关的资料 本文主要内容如下： 有状态的流数据处理； Flink中的状态接口； 状态管理和容错机制实现； 阿里相关工作介绍； 一. 有状态的流数据处理 1.1. 什么是有状态的计算 计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它......
2 天前 / sjf0115
今天我们来解读一下Flink未来的方向：批流融合。这份PPT来自Flink Forward SF 2019。我在之前的一篇推文：Flink Forward 2019 旧金山之行中曾说有时间会解读一下的，没想到会拖到现在。 这份PPT的演讲者是Flink的PMC Aljoscha，他在社区主要就是负责API、Connector、Scala语言的API的方向。 随着时间的推移，PPT中提到的一些设计可能会产生变化，但是大的方向已经明确了。希望看完这份解读后你依然坚信Flink一直在计算引擎上不断探索，在流计算领域里继续领跑其他框架。 老图了：以流为基础抽象，有界流（批）是无界流上的......
8 天前 / 浪尖
Flink主要有两种基础类型的状态：keyed state 和operator state。
1Keyed StateKeyed State总是和keys相关，并且只能用于KeyedStream上的函数和操作。
你可以将Keyed State视为是已经被分片或分区的Operator State，每个key都有且仅有一个状态分区(state-partition)。每个keyed-state逻辑上绑定到一个唯一的
9 天前 / sjf0115
最近，社区提交了一个新的Proposal: 《Change threading-model in StreamTask to a mailbox-based approach》(来自Ververica的Stefan Richter, Piotr Nowojski)，用于改进当前StreamTask这一核心类的线程模型。这个Proposal可谓是千呼万唤始出来，从去年就开始讨论，之前一直迟迟没有太大的动静，最近终于给出了概要设计。接下来，我们就来简单地介绍一下这个Proposal。 动机改进的动机肯定来自于先前实现的不足或缺陷。StreamTask现有的线程模型存在着一些缺陷，它可能导致多个潜在的线程去并发访问其内部状态，比如事件处理以及检查点的触发线程......
11 天前 / sjf0115
1. ProcessFunctionProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块： 事件 (数据流元素) 状态 (容错和一致性) 定时器 (事件时间和处理时间) ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在输入流中接收到一个事件，就会调用来此函数来处理。 对于容错的状态，ProcessFunction 可以通过 RuntimeContext 访问 KeyedState，类似于其他有状态函数访问 KeyedState。 定时器可以对处理时间和事件时间的变化做一些处理。每次调用processElement()都可以获得一个 C......
19 天前 / sjf0115
本文重点介绍开发人员在有状态流处理应用中使用 Flink 的 Keyed State 的函数或算子评估性能时应牢记的3个重要因素。 Keyed State 是 Flink 中两种状态中的其中一种，另一种是 Operator State。顾名思义，Keyed State 绑定到键，只适合处理来自 KeyedStream 数据的函数和算子。Operator State 和 Keyed State 之间的区别在于 Operator State 是作用于算子的每个并发实例上（子任务），而 Keyed State 是基于每个键的一个状态分区进行分区或分片。 下面我们讨论3个会影响 Flink Keyed State 性能的因素，在开发有状态流应用程序时应该记住这些因素......
20 天前 / sjf0115
文 |杨诗旻 on 大数据 一、前言Flink 的窗口功能非常强大，因为要支持各种各样的窗口，像滑动窗口和滚动窗口这样的对齐窗口，像会话窗口这样的非对齐窗口，复杂度也会比较高。其中在超长滑动窗口的性能上也不尽如人意。这篇文章首先会阐述为什么在超长滑动窗口下 Flink 的性能会降级的很严重，以及在有赞我们是如何解决这个问题的。此外，在优化中并没有去兼顾 Evictor 的逻辑，因为在业务中并没有相应的需求。 二、Flink 滑动窗口的实现Flink Window 算子的整体概念如下图所示，可以看到有几个重要的部分，首先是 WindowAssigner 和 Trigger，......
29 天前 / usedlife
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 两者都是优秀的框架，究竟有何不同，Spark还没学好现在又来了一个Flink，程序猿攻城狮们能接住招吗！本文主要从部分功能上聊一聊这两款......
29 天前 / usedlife
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 两者都是优秀的框架，究竟有何不同，Spark还没学好现在又来了一个Flink，程序猿攻城狮们能接住招吗！本文主要从部分功能上聊一聊这两款......
31 天前 / sjf0115
这是我们关于 Flink 如何实现新的流处理应用系列中的第二篇博文。第一部分介绍了事件时间和乱序处理。 这篇文章是关于版本化应用程序状态，后面是关于会话和高级窗口的文章。 1. 有状态数据流处理流处理可以分为无状态处理和有状态处理。无状态流处理应用仅是接收事件，然后基于接收的单个事件的信息产生某种响应(例如，报警或事件转换)。因此，没有”记忆”或聚合能力。但是在许多场景下还是有用的(例如，过滤，简单的转换)，许多有趣的流处理应用，例如基于时间窗口的聚合，复杂事件处理，多事件的模式匹配，以及事务处理都是有状态的。 早......
33 天前 / sjf0115
Window意为窗口。在流处理系统中数据源源不断流入到系统，我们可以逐条处理流入的数据，也可以按一定规则一次处理流中的多条数据。当处理数据时程序需要知道什么时候开始处理、处理哪些数据。窗口提供了这样一种依据，决定了数据何时开始处理。 Flink内置Window Flink有3个内置Window 以事件数量驱动的Count Window 以会话间隔驱动的Session Window 以时间驱动的Time Window 本文围绕这3个内置窗口展开讨论，我们首先了解这3个窗口在运行时产生的现象，最后再讨论它们的实现原理。 Count Window 计数窗口，采用事件数量作为窗口处......
41 天前 / sjf0115
这篇文章改编自2017年柏林FlinkForward上PiotrNowojski的演讲。你可以在FlinkForwardBerlin网站上找到幻灯片和演示文稿。 2017年12月发布的ApacheFlink1.4.0为Flink的流处理引入了一个重要特性：TwoPhaseCommitSinkFunction的新功能，提取了两阶段提交协议的通用逻辑，使得在Flink和一系列数据源和接收器（包括ApacheKafka0.11版本以及更高版本）之间构建端到端的Exactly-Once语义的应用程序成为可能。它提供了一个抽象层，用户只需实现几个方法就可以实现端到端的Exactly-Once语义。 如果这就是你需要了解的全部内容，可以去这个地方了解如何使......
44 天前 / jrthe42
我们前面已经分析过 StreamGraph, JobGraph 的生成过程，这两个执行图都是在 client 端生成的。接下来我们将把目光头投向 Flink Job 运行时调度层核心的执行图 - ExecutionGraph。 和 StreamGraph 以及 JobGraph 不同的是，ExecutionGraph 是在 JobManager 中生成的。 Client 向 JobManager 提交 JobGraph 后， JobManager 就会根据 JobGraph 来创建对应的 ExecutionGraph,并以此来调度任务。 本文不会介绍 JobMagage 的启动及任务调度过程，后面将会在单独的文章中进行分析。 核心概念ExecutionJobVertex在 ExecutionGraph 中，节点对应的类是 ......
45 天前 / sjf0115
当我们第一次使用 Flink 时，可能会对Watermark感到困惑，其实Watermark并不复杂。让我们通过一个简单的例子来说明为什么我们需要Watermark，以及它是如何工作的。 在下文中的例子中，我们有一个带有时间戳的事件流，这些事件并不是按顺序到达的。图中的数字表示事件发生的时间戳。第一个事件在时间 4 到达，后面跟着一个发生更早时间的事件（时间 2），以此类推： 注意这是一个基于事件时间处理的例子，这意味着时间戳反映的是事件发生的时间，而不是事件处理的时间。基于事件时间处理的强大之处在于创建流处理程序无论是处理实时的数据还是重......
48 天前 / sjf0115
在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。 检查点(Checkpoint)是一种能使 Flink 从故障恢复的内部机制。检查点是 Flink 应用程序状态的一致性副本，包括了输入的读取位点。如果发生故障，Flink 通过从检查点加载应用程序状态来恢复应用程序，并从恢复的读取位点继续处理，就好像什么事情都没发生一样。你可以把检查点理解为电脑游戏的存档。如果你在游戏中存档之后发生了什么事情，你可以随时读档重来一次。 检查点使 Flink 具有容错能力，并确保在发生故障时也能......