40 天前 / Flink实战剖析
在生产环境中，Flink 通常会部署在 YARN 或 k8s 等资源管理系统之上，进程会以容器化（YARN 容器或 docker 等容器）的方式运行，其资源会受到资源管理系统的严格限制。另一方面，Flink 运行在 JVM 之上，而 JVM 与容器化环境并不是特别适配，尤其 JVM 复杂且可控性较弱的内存模型，容易导致进程因使用资源超标而被 kill 掉，造成 Flink 应用的不稳定甚至不可用。 针对这个问题，Flink 在 1.10 版本对内存管理模块进行了重构，设计了全新的内存参数。
40 天前 / sjf0115
作者：董伟柯，腾讯 CSIG 高级工程师综述 Flink 作为流式数据处理框架的领跑者，在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面，它为用户提供了较底层的 DataStream API，也推出了 Table API 和 SQL 等编程接口。特别来看，SQL 以其易用、易迁移的特点，深受广大用户的欢迎。 在常见的数据分析场景中，JOIN（关联）操作是一项很有挑战性的工作，因为它涉及到左右两个表（流）的状态匹配，对内存的压力较大；而相比恒定的批数据而言，流数据更加难以预测，例如数据可能乱序、可能晚到，甚至可能丢失，因此需要缓存的状态量更加庞大...
43 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自网易互娱技术中心计费实时平台与 SDK 技术负责人林佳在 Flink Forward Asia 2021 行业实践专场的演讲。本篇内容主要分为三个部分： 从一次 APP 内购买支付聊起 实时 SDK 与平台化的双线发展 走向实时全关联 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 说到网易互娱，大家首先想到的肯定是游戏。作为网易的核心业务线之一，让游戏业务可以稳定可靠地运行自然是重中之重，而游戏业务中最重要就是 APP 内购买服务的可靠性。本文的分享，就从一次 APP 内购买聊起。
44 天前 / sjf0115
Flink 版本：1.14.4 Apache Flink 具有两个关系 API：Table API 和 SQL。Table API 是用于 Java、Scala 和 Python 的集成语言查询 API，可以以非常直观的方式组合不同关系运算符（例如 SELECT、FILTER 以及 JOIN）构建复杂查询。Flink SQL 基于 Apache Calcite 实现。 1. 依赖 1.1 Planner 从 Flink 1.9 开始，Flink 提供了两种不同的 Planner 实现来执行 Table & SQL API 程序： Blink Planner：Flink 1.9+Old Planner：Flink 1.9 之前在 1.14 新版本中，Old Planner 被移除，Blink Planner 将成为 Planner 的唯一实现。
44 天前 / 逗逗
1.前言 本文主要是整理博主收集的 Flink 高频面试题。如果本文对你有所帮助，请点个喜欢 + 在看吧。 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣...
47 天前 / sjf0115
大家好，我是 JasonLee。 在 1.9 版本之前，Flink 运行时的状态对于用户来说是一个黑盒，我们是无法访问状态数据的，从 Flink-1.9 版本开始，官方提供了 State Processor API 这让用户读取和更新状态成为了可能，我们可以通过 State Processor API 很方便的查看任务的状态，还可以在任务第一次启动的时候基于历史数据做状态冷启动。从此状态对于用户来说是透明的。下面就来看一下 State Processor API 的使用。 添加依赖 org.apache.flink flink-state-processor-api_2.11 1.14.4 Mapping Application State to DataSetsState Processor API 将流应用程序的...
49 天前 / sjf0115
分享嘉宾：杨尚昂 京东 BI 工程师 编辑整理：闵强明略科技 出品平台：DataFunTalk 导读：今天给大家分享京东在实时建模过程中使用 Flink SQL 的应用案例。主要从问题、难点、方案和规划四个方面来介绍。 01 问题在维度建模中有很多技术场景，本文挑选其中两个较难的场景来进行详细阐述。 问题一 实时多流全量关联的问题 select * from A full join B on A.name = B.name;此问题关联 SQL 比较简单，只有 A 流和 B 流两个实时流进行 full join，但还可能涉及到其中有一流数据需要关联全量历史数据。
51 天前 / 逗逗
▼ 关注「大数据技术与数仓」，获取更多技术干货▼摘要：本文整理自 BIGO Staff Engineer 邹云鹤在 Flink Forward Asia 2021 的分享。主要内容包括： 业务背景落地实践 & 特色改进应用场景未来规划 一、业务背景 BIGO 是一家面向海外的以短视频直播业务为主的公司， 目前公司的主要业务包括 BigoLive ( 全球直播服务)，Likee ( 短视频创作分享平台)，IMO ( 免费通信工具) 三部分，在全球范围内拥有 4 亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍 BIGO 大数据平台及其所面临的问题。
54 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自京东资深技术专家付海涛在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 基本介绍生产实践优化改进未来规划 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、基本介绍 K8s 是目前业内非常流行的容器编排和管理平台，它可以非常简单高效地管理云平台中多个主机上的容器化应用。在 2017 年左右，我们实时计算是多个引擎并存的，包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink，其中 Storm 集群运行在物理机上，Spark Streaming 运行在 YARN 上...
56 天前 / u561252
1.前言 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣，有没有什么共性的问题可以优化？ Flink Join 优化方案：同 key 共享 State Flink Join 优化方案：外存 State 之 Redis 下面的答案都是博主收集小伙伴萌的答案 + ...
60 天前 / 逗逗
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自翼支付高级开发工程师曹劼、尹春光在 Flink Forward Asia 2021 平台建设专场的分享。本篇内容主要分为四个部分： 公司简介实践中的问题案例实践未来规划 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、公司简介 翼支付是中国电信的全资子公司，公司主要业务分为民生缴费、消费购物、金融理财，同时我们依托云计算、大数据、人工智能等技术手段，赋能线上及线下的商户。 公司主要的业务板块分为数字生活、数字金融及金融科技服务。
64 天前 / sjf0115
摘要：本文整理自 Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问）在 Flink Forward Asia 2021 的分享。本篇内容主要分为四个部分： 2021: Apache Flink 社区持续繁荣 Apache Flink 核心技术演进流批一体演进与落地机器学习场景支持 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、2021: Apache Flink 社区持续繁荣 1.1 Flink 大版本迭代 2021 年，Flink 社区共发布两个大版本：Flink 1.13 和 Flink 1.14。
65 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文作者米哈游大数据部实时计算负责人张剑，分享 Flink 在米哈游的应用及实践。本篇内容主要分为四个部分： 背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望 Tips：点击「阅读原文」查看更多技术内容～ 一、背景介绍 米哈游成立于 2011 年，致力于为用户提供美好的、超出预期的产品与内容。公司陆续推出了多款高品质人气产品，包括《崩坏学园 2》、《崩坏 3》、《未定事件簿》、《原神》，动态桌面软件《人工桌面》以及社区产品《米游社》...
68 天前 / 逗逗
摘要：本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。本篇内容主要分为四个部分： 背景介绍实时平台建设实时数仓探索未来发展与展望 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、背景介绍 斗鱼成立于 2014 年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。在斗鱼，实时计算发展得并不算早。 2018 年前后，为了满足一些近实时数据需求，如 5 分钟、1 小时等场景，先后引入了 Spark streaming 和 Storm 技术。
76 天前 / 逗逗
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分： 实时计算平台建设中移信令业务优化稳定性实践未来方向的探索 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 中移（苏州）软件技术有限公司是中国移动通信有限公司的全资子公司，公司定位为中国移动云设施的构建者、云服务的提供者、云生态的绘制者。公司以移动云为运营中心，产品和服务在电信、政务、金融、交通等领域都有广泛应用。