4 天前 / sjf0115
▼ 关注「大数据生态」，获取更多技术干货▼ Flink 版本：1.13.0 在过去的几年里，背压的问题从不同的角度得到了解决。然而，在判断和分析背压来源时，最近的 Flink 版本发生了很大的变化（尤其是在 Flink 1.13 中新增了监控指标和 Web UI）。这篇文章将一起看一下其中的一些变化，并详细介绍如何追踪背压的来源，但首先…… 1. 什么是背压？Flink 如何处理背压这篇文章虽然比较旧，但比较准确的解释了背压。如果您不了解背压这个概念，我强烈建议您阅读一下。
5 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本由社区志愿者苗文婷整理，内容来源 LinkedIn 大数据高级开发工程师张晨娅在 Flink Forward Asia 2020 分享的《从 Spark 做批处理到 Flink 做流批一体》，主要内容为： 为什么要做流批一体？当前行业已有的解决方案和现状，优势和劣势探索生产实践场景的经验 Shuflle Service 在 Spark 和 Flink 上的对比，以及 Flink 社区后面可以考虑做的工作总结 Tips：FFA 2021 重磅开启，点击「阅读原文」即可报名～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、为什么要做流批一体 做流批一体到底有哪些益处...
10 天前 / sjf0115
2021 年 8 月 22 日，Apache Flink 社区宣布 Apache Flink 1.9.0 正式发布。这也是阿里内部版本 Blink 合并入 Flink 后的首次版本发布。Apache Flink 项目的目标是开发一个流处理系统，以统一和支持多种形式的实时和离线数据处理应用程序以及事件驱动的应用程序。在 1.9 版本中，社区在这方面取得了巨大的进步，将 Flink 的流处理和批处理能力集成在了一个统一的 Runtime 之上。 此次版本更新带来的重大功能包括批处理作业的批式恢复以及用于 Table API 和 SQL 查询的基于 Blink 的新查询引擎（预览版）。
13 天前 / 尹千觞
感谢松鼠会大佬的再三邀请。对我来说这算是一篇命题作文，那么我的答案是什么呢？刚好我也很喜欢另外一个松鼠社区，那么就用两只松鼠来做答案吧，没错，Flink 和 OpenGauss 就是我的答案： 手把手完成一次 OpenGauss 的安装手把手构建 Flink connector opengauss OpenGauss 安装 操作系统建议使用 openEuler20.03LTS ，注意不要使用 sp 包，可能会因为 sp 包依赖升级，而导致安装失败。使用下面安装脚本，我对官方脚本进行了一些修改，适合做单机实验，不再需要手动设置 ip，而是直接将 eth0 的 ip 作为数据库 ip 使用。
13 天前 / sjf0115
关注并标星3 分钟秒懂大数据 每天 1 次，打卡阅读 获取流计算、大数据技术和面经 前言大家好，我是土哥。 最近在公司做 Flink 推理任务的性能测试，要对 job 的全链路吞吐、全链路时延、吞吐时延指标进行监控和调优，其中要使用 Flink Metrics 对指标进行监控。 接下来这篇文章，干货满满，我将带领读者全面了解 Flink Metrics 指标监控，并通过实战案例，对全链路吞吐、全链路时延、吞吐时延的指标进行性能优化，彻底掌握 Flink Metrics 性能调优的方法和 Metrics 的使用。
14 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文由社区志愿者路培杰整理，腾讯看点数据团队高级工程师王展雄在 Flink Forward Asia 2020 分享的议题《腾讯看点基于 Flink 构建万亿数据量下的实时数仓及实时查询系统》。内容包括： 背景介绍 架构设计 实时数仓 实时数据查询系统实时系统应用成果总结 Tips：点击「阅读原文」即可查看作者分享原版视频～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、背景介绍 1. 需要解决的业务痛点 推荐系统 对于推荐同学来说，想知道一个推荐策略在不同人群中的推荐效果是怎么样的。
21 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。主要内容包括： 背景及现状 AutoStream 平台基于 Flink 的实时生态建设后续规划 Tips：点击「阅读原文」即可查看作者分享原版视频～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、背景及现状 1. 第一阶段 在 2019 年之前，汽车之家的大部分实时业务都是运行在 Storm 之上的。
26 天前 / 尹千觞
在《如何利用 Flink CDC 实现数据增量备份到 Clickhouse》里，我们介绍了如何 cdc 到 ch，今天我们已久使用前文的案例，来 sink 到 hudi，那么我们开始吧。 hudi 简介 Apache Hudi( 发音为“Hoodie”)在 DFS 的数据集上提供以下流原语 插入更新 ( 如何改变数据集？) 增量拉取 ( 如何获取变更的数据？) Hudi 维护在数据集上执行的所有操作的时间轴（timeline），以提供数据集的即时视图。Hudi 将数据集组织到与 Hive 表非常相似的基本路径下的目录结构中。数据集分为多个分区，文件夹包含该分区的文件。每个分区均由相对于基本路径的分区路径唯一标识。
28 天前 / 大数据左右手
Flink Flink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。「无界数据」是持续产生的数据，所以必须持续地处理无界数据流。「有界数据」，就是在一个确定的时间范围内的数据流，有开始有结束，一旦确定了就不会再改变。 可靠的容错能力集群级容错集群管理器集成（Hadoop YARN、Mesos 或 Kubernetes）高可用性设置（HA 模式基于 ApacheZooKeeper）应用级容错（ Checkpoint）一致性（其本身支持 Exactly-Once 语义）轻量级（检查点的执行异步和增量检查点）高吞...
30 天前 / sjf0115
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文整理自 58 同城实时计算平台负责人冯海涛在 Flink Forward Asia 2020 分享的议题《Flink 在 58同城应用与实践》，内容包括： 实时计算平台架实时SQL 建设 Storm 迁移 Flink实践一站式实时计算平台后续规划 Tips：点击「阅读原文」即可回顾作者原版分享视频～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、实时计算平台架构 实时计算平台的定位是为 58 集团海量数据提供高效、稳定的实时计算一站式服务。
44 天前 / sjf0115
1. 简介 Trigger( 窗口触发器)决定了窗口（由 WindowAssigner 产生）什么时候调用窗口处理函数。可以根据指定的时间或数据元素条件来决定什么时候触发，比如，可以根据到达的元素个数或者具体获取到的元素值等等。Trigger 可以访问时间属性以及计时器，并且可以处理状态。因此，它们与处理函数一样强大。例如，我们可以实现特定的触发逻辑来触发，比如窗口接收到一定数量的元素时就会触发，或者当具有特定值的元素到达窗口时，再或者检测到到达窗口中的元素满足一定模式时触发，例如最近 5 秒内有两个相同类型的事件。
44 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文由社区志愿者陈政羽整理，内容源自阿里巴巴技术专家宋辛童 ( 五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为： 简介流批一体 Checkpoint 机制性能与效率 Table / SQL / Python API 总结 Tips：点击「阅读原文」即可回顾作者原版分享视频～ 另外，请关注文末 Flink 极客挑战赛！ GitHub 地址欢迎大家给Flink点赞送 star~ 此文章为 8 月 7 日的分享整理，1.14 版本最新进展请注意文中的注释说明。
46 天前 / sjf0115
▼ 关注「Flink 中文社区」，获取更多技术干货▼ 摘要：本由社区志愿者苗文婷整理，内容源顺丰科技大数据平台研发工程师龙逸尘在 Flink Forward Asia 2020 分享的《Flink 在顺丰的应用实践》，主要内容为： 建设背景建设思路落地实践应用案例未来规划 Tips：点击「阅读原文」即可回顾作者原版分享视频～ 另外，请关注文末 Flink 极客挑战赛！ GitHub 地址欢迎大家给Flink点赞送 star~ 一、建设背景 顺丰是国内领先的快递物流综合服务商，经过多年的发展，顺丰使用大数据技术支持高质量的物流服务。
48 天前 / sjf0115
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》，内容包括： 业务演进和规模 容器化实践 Flink 优化改进 未来规划 Tips：点击「阅读原文」即可回顾作者原版分享视频～ 另外，请关注文末 Flink 极客挑战赛！ GitHub 地址欢迎大家给Flink点赞送 star~ 一、业务演进和规模 业务演进 京东在 2014 年基于 storm 打造了第一代流式处理平台，可以较好的满足业务对于数据处理实时性的要求。
51 天前 / sjf0115
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储，且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为： 背景增量 ETL 演示 Tips：点击「阅读原文」关注第三届 Flink 极客挑战赛～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、背景 近实时 从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。