15 天前 / zhishemg
今天在Apache Flink meetup ·北京站进行 Flink 1.9 重大新特性进行了讲解，两位讲师分别是戴资力/杨克特，zhisheng 我也从看完了整个 1.9 特性解读的直播，预计 Flink 1.9 版本正式发布时间大概是 7 月底 8 月初左右正式发布，下面一起来看看直播内容： 架构改动 Table/SQL API 使用两种 Runner 可以加快 Blink 代码 merge 进 Flink 上面这些都是 Flink 和 Blink 都有的，但是下面的是 Blink Runner 专有的特性： 数据结构完全基于二进制数据，没有反序列化的消耗，可以提升 Job 处理性......
16 天前 / sjf0115
本文是根据 Apache Flink 基础篇系列直播整理而成，由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期，持续推送。 ▼ 预告▼ 自 Flink 1.0 版本后变动最大又十分神秘的 Flink 1.9 版本即将发布，Flink 1.9 版本有哪些重大变更，会增加哪些新特性？本周六 Apache Flink Meetup 北京站为你详细解读，请锁定直播，扫码观看，拿奖品，扫描下方二维码即可参与！ 直播二维码 本文主要内容： 一. Apache Flink 的定义、架构及原理 1. Flink Application 2.Fli......
18 天前 / 尹千觞
上一篇文章，我们介绍了UDF，可以帮用户自定义函数，从而在使用Flink SQL中，能够得心应手的处理一些数据问题。今天我们来学习一下Flink是如何处理CEP问题的。本文会分为两个部分，概念介绍部分和代码案例部分。 概念介绍 那么什么是CEP？CEP即Complex event processing，引用wiki的解释： CEP,iseventprocessingthatcombinesdatafrommultiplesourcestoinfereventsorpatternsthatsuggestmorecomplicatedcircumstances.Thegoalofcomplexeventprocessingistoidentifymeaningfulevents(suchasopportunitiesorthreats)andrespondtothema......
18 天前 / 尹千觞
上一篇文章，我们介绍了UDF，可以帮用户自定义函数，从而在使用Flink SQL中，能够得心应手的处理一些数据问题。今天我们来学习一下Flink是如何处理CEP问题的。本文会分为两个部分，概念介绍部分和代码案例部分。 概念介绍 那么什么是CEP？CEP即Complex event processing，引用wiki的解释： CEP,iseventprocessingthatcombinesdatafrommultiplesourcestoinfereventsorpatternsthatsuggestmorecomplicatedcircumstances.Thegoalofcomplexeventprocessingistoidentifymeaningfulevents(suchasopportunitiesorthreats)andrespondtothema......
21 天前 / sjf0115
曹英杰，花名北牧，2018 年 4 月硕士毕业于北京航空航天大学，毕业后加入阿里巴巴计算平台事业部实时计算团队，主要从事阿里云实时计算的开发相关工作。 Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一，是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务(Subtask)，因此，对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 JobManager 之间通过基于 Akka 的 RPC 通信的控制通道不同，TaskManager 之间的网络协议栈依赖于更加底层的 Netty API。 本文将首先介绍 Flink 暴露给流算子(Stream......
23 天前 / 逗逗
一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 Flink SQL 是面向用户的 API 层，在我们传统的流式计算领域，比如 Storm、Spark Streaming 都会提供一些 Function 或者 Datastream API，用户......
25 天前 / sjf0115
本文主要分享 Apache Flink 在 G7 的应用实践，从实时计算选型、业务应用案例、实时计算平台开发和现状以及未来规划等部分讲解。 1. G7 业务快览 G7 主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。 整个数据是通过车载的传感器设备采集，比如公司的 Smart 盒子，CTBox 盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7 的业务场景是典型的IoT场景：......
29 天前 / zhishemg
作者 张馨予，360 大数据计算平台负责人。北京邮电大学硕士，2015年加入360系统部，一直致力于公司大数据计算平台的易用性、稳定性和性能优化的研发工作。目前主要负责Flink的研发，完成公司计算引擎的大一统。 本文从数据传输和数据可靠性的角度出发，对比测试了Storm与Flink在流处理上的性能，并对测试结果进行分析，给出在使用Flink时提高性能的建议。 Apache Storm、Apache Spark和Apache Flink都是开源社区中非常活跃的分布式计算平台，在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说，Storm与Flink的底层计算引擎是基......
35 天前 / zhishemg
前言如果你了解 Apache Flink 的话，那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下，我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。 在本文的第一部分中，我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法，我们将介绍如何使用它们以及何时使用它们。在本文的第二部分中，我将描述如何从 Flink 集群中获取数据。 如何发送数据给 TaskManager？在我们深入研究如何在 Apache Flink 中的不同组件之间发送数......
38 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
39 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
42 天前 / zhishemg
Flink 学习项目代码https://github.com/zhisheng17/flink-learning 麻烦路过的各位亲给这个项目点个 star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！ 本项目结构 博客1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data Source 介绍 5、Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、Flink 从0到1学习 —— Data Sink 介绍 7、Flink 从0到1学习 —— 如何自定......
47 天前 / zhishemg
前言 如今，许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop，还有较新的框架，如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据（包括缓存和高效处理）。合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来。 在这篇文章中，我们将讨论 Apache Flink 如何管理内存，讨论其自定义序列化与反序列化机制，以及它是如何操作二进制数据的。 数据对象直接放在堆内存......
53 天前 / sjf0115
作者：Sijie Guo 编辑：Irene Apache Flink和 Apache Pulsar的开源数据技术框架可以以不同的方式融合，来提供大规模弹性数据处理。4 月 2 日，我司 CEO 郭斯杰受邀在 Flink ForwardSan Francisco 2019 大会上发表演讲，介绍了 Flink 和 Pulsar 在批流应用程序的融合情况。这篇文章会简要介绍 Apache Pulsar 及其与其他消息系统的不同之处，并讲解如何融合 Pulsar 和 Flink 协同工作，为大规模弹性数据处理提供无缝的开发人员体验。 Apache Pulsar 简介 Apache Pulsar是一个开源的分布式发布-订阅消息系统， 由 Apache 软件基金会管......