11 天前 / sjf0115
邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。 作者：Stefan Ricther & Chris Ward 翻译：邱从贤（山智） Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种记录模式 保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计 保存当前的模型参数，用于进行模型训练 ......
13 天前 / zhishemg
前言 之前一直给大家推荐的是关于 Flink 的介绍和知识点，以及关于 Flink 里面使用这些知识点的一些简单的 demo，地址在：https://github.com/zhisheng17/flink-learning 。总的来说，现在还挺缺这种真正实战的项目分享出来，尤其是把源代码分享出来的，近期我在 GitHub 观察到一个不错的 Flink 项目，然后也和作者交流了下，于是在这里做一个分享。所以，那些平时问我有没有 Flink 项目的可以看过来了。地址在 ：https://github.com/CheckChe0803/flink-recommandSystem-demo 下面介绍下这个项目。 1. 系统架构 v2.01.1 系统架构图 1.2模块说......
16 天前 / zhishemg
前言在上一篇文章 你公司到底需不需要引入实时计算引擎？中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。 第一代：Hadoop 承载的 MapReduce 第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任务 第三代：支持 Job 内部的 DAG（有向无环图），以 Spark 为代表 第四代：大数据统一计算引擎，包括流处理、批处理、AI、Machine L......
24 天前 / CainGao0
“无界数据于有界数据是一个比较于模糊的概念，无界与有界之间是可以进行转换的。无界数据流在进行某些计算的时候例如每分钟、每小时、每天等操作时都可以看做是有界数据集。Apache Flink使用Windows方式实现了对于无界数据集到有界数据集的计算。” Apache Flink Window 概述 Windows是流式计算中最常用的计算方式之一，通过固定的时长（分钟，小时，天）与固定的长度（X条）的方式把无界的数据集划分到一个固定的空间中进行计算，从而得到该范围内的结果。例如常见的五分钟内登陆用户数，1000条数据内的错误比例等。 ......
28 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
31 天前 / 尹千觞
在上一篇《零基础学Flink：实时热销榜Top5（案例）》文档中我们介绍了如何计算实时热销榜。在案例的最后TopNHot类中，我们使用了状态类。 // 用于存储商品状态，待收齐同一个窗口的数据后，再触发 TopN 计算 private ListState orderState;但是之前并未做详细介绍，那么我们今天就来详细说说Flink中的状态。 what 那什么是state State是指流计算过程中计算节点的中间计算结果或元数据属性，比如 在聚合计算过程中要在state中记录中间聚合结果，比如 Apache Kafka 作为数据源时候，我们也要记录已经读取记录的offset，这些State数......
36 天前 / sjf0115
大数据计算分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是Hadoop MapReduce、Hive等大数据技术，实时计算也被称作流计算，代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不断更新迭代，下图展示的是每一代计算引擎的代表，从第一代的Hadoop MapReduce，到第二代的Spark，再到第三代的Flink技术，从批处理到微批，再到真正的流式计算。 （图一：计算引擎的更新迭代） 随着我们对数据的实时性要求越来越高，实时计算在实际工程中的应用也越来越广泛。其中流式计算的典型代表是Storm和Flink技......
37 天前 / CainGao0
“前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型，即为有界数据与无界数据，提供了DataSet与DataStream的基础API。” DataSet与DataStream 根据数据源的类型，即为有界数据与无界数据。Apache Flink提供可以编写流处理与批处理的程序。其中DataSet API用于批处理，DataStream API用于流式处理。对于DataSet来说可以认为其中存储的是可重复有界的数据集合。而DataStream中存储的可以认为是重复的无界的数......
39 天前 / 尹千觞
《零基础学Flink》这个系列已经做了不少篇了，接下来几章会更加贴近案例来说明一些功能，今天我们先来说说如何将两个流join起来。这次我们以实时汇率和订单流合并为最后牌价为案例，进行说明。 案例代码存放在https://github.com/dafei1288/flink_casestudy 原理介绍 首先流和流的Join的基本原理和表之间join是一样的，但是由于窗口本身性质的原因，流和流Join还是分为以下几个类型。 下图是滚动窗口合并，每个窗口内，数据独立合并，没有重叠。 下图是滑动窗口合并，每个窗口内，数据独立合并，由于滑动窗口，有数据......
41 天前 / CainGao0
Apache Flink这么火,我们学完了可以用来做什么 Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Flink作为选型的对象。那么Apache Flink对于企业来说能够做什么？ 在实际的生产过程中有大量的数据实时性分析需求，例如实时推荐，异常告警，传感器信令分析等需求。随着技术的不断发展对于实施指标的需求也越来越多，而且时效性要求越来越高。使用传统的技术方案等待数据落地后再进行分析那么就无法保证数据的时效性信息。所以在处理某些场景的业务时需要一......
41 天前 / sjf0115
本文整理自开源大数据专场中阿里巴巴高级技术专家杨克特（鲁尼）先生的精彩演讲，主要讲解了Apache Flink 过去和现在的发展情况，同时分享了对 Apache Flink 未来发展方向的理解。 一、Flink 的过去 1.Flink 的出现 Apache Flink 项目在捐献给 Apache 之前，是由柏林工业大学博士生发起的项目，当时的 Flink 系统还是一个基于流式 Runtime 的批处理引擎，主要解决的也是批处理的问题。2014 年，Flink 被捐献给 Apache，并迅速成为 Apache 的顶级项目之一。2014 年 8 月份，Apache 发布了第一个 Flink 版本，Flink 0.6.0，在有了较好的......
41 天前 / CainGao0
所有的语言开篇都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。MR，Spark，Flink以来开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。 单机安装Flink开始Flink之前先在本机尝试安装一下Flink,当然FLink正常情况下是部署的集群方式。作者比较穷，机器配置太低开不了几个虚拟机。所以只能先演示个单机的安装。 Apache Flink需要在Java1.8+以上的环境中运行。 所以,先确保自己的JDK版本是1.8包含以上的。 Flink单机部署非常简单，只需安装下载安装即可。如果需要与Hadoop版本结合，那么下载......
55 天前 / 尹千觞
大家期盼已久的1.9已经剪支有些日子了，兴冲冲的切换到跑去编译，我在之前的文章《尝尝Blink》里也介绍过如何编译，本文只针对不同的地方以及遇到的坑做一些说明，希望对遇到同样问题的朋友有一些帮助。 首先，切换分支git checkout release-1.9这次我们不修改pom文件，将镜像添加到settings.xml里，在文章末尾，我会分享出来我用的文件全文，这里就不再赘述了。直接使用clean package -DskipTests -Dfast进行编译 [INFO] Reactor Summary for flink 1.9-SNAPSHOT: [INFO] [INFO] force-shading ...................................... SUCCES......
56 天前 / zhishemg
两百问一点都不夸张，这才光知识星球从创建到现在的问题总数，另外还有多个微信群的答疑解惑。有时候忍不住想给自己点个赞，咋能这么呢？ 麻烦路过的各位亲给这个项目点个 star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！地址：https://github.com/zhisheng17/flink-learning 本项目结构2019/06/08 新增 Flink 四本电子书籍的 PDF，在 books 目录下： Introduction_to_Apache_Flink_book.pdf这本书比较薄，处于介绍阶段，国内有这本的翻译书籍 Learning Apache Flink.pdf这本书比较基础，初学的话可以多看看 Stream Processing......
60 天前 / chauncy-ilife
本篇文章通过走读源码的形式,来叙述一下Flink 是怎么做到实时处理的 在我们处理数据的过程,无论是什么执行引擎都可以抽象为3 个总要的组件 source ,operator , sink source 它就是我们需要处理的数据 operator 我们需要对这个数据进行的一个计算抽象(比如对这个数据进行一个加减乘除 等) sink 我们operator 计算好的结果输出他的下游(比如 放入到db,mq 里面等) 我们接下来的分析从source 开始 首先看一下source 的结构 SourceFunction 里面也有一个内部接口 SourceContext SourceFunction 里面有个run 方法 和一个cancel 方法,run ......