11 小时前 / kafeidou
Flink 是一个分布式的流处理引擎，而流处理的其中一个特点就是 7X24。那么，如何保障 Flink 作业的持续运行呢？Flink 的内部会将应用状态 (state)存储到本地内存或者嵌入式的 kv 数据库 (RocksDB)中，由于采用的是分布式架构，Flink 需要对本地生成的状态进行持久化存储，以避免因应用或者节点机器故障等原因导致数据的丢失，Flink 是通过 checkpoint( 检查点)的方式将状态写入到远程的持久化存储，从而就可以实现不同语义的结果保障。通过本文，你可以了解到什么是全局一致性检查点，Flink 内部如何通过检查点实现 Exactly Once 的结果保障。
5 天前 / sjf0115
2022 年 1 月 9 日， StarRocks 亮相 Flink Forward Asia 2021 大会开源解决方案专场， StarRocks 解决方案架构师谢寅做了题为【双剑合璧：Flink + StarRocks 构建实时数仓解决方案】的主题演讲。本文以主讲嘉宾从技术方案的角度，为社区的小伙伴带来最全、最详细的文字版和视频实录回顾！ 本文从以下 5 个方面介绍： 第一部分，实时数仓技术的发展趋势和技术挑战，以及为什么 Flink+StarRocks 能够提供端到端的极速实时数仓体验。
8 天前 / 比百事还可乐
摘要：本文作者洪志龙（柏星）& 朱翥（长耕），分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括： 性能测评结果基于拓扑结构的优化优化任务部署针对 Pipelined Region 构建的优化 Tips：点击「阅读原文」查看FFA 2021 视频回放～ 随着 Flink 流批一体架构不断演进和升级，越来越多的用户开始选择用 Flink 来同时承载实时和离线的业务。离线业务和实时业务有一定差异性，其中比较关键的一点是 ——离线作业的规模通常都远远大于实时作业。超大规模的流批作业对 Flink 的调度性能提出了新的挑战。
8 天前 / 比百事还可乐
这篇博文的第一部分简要介绍了我们为提高调度器性能所做的优化；与 Flink 1.12 相比，Flink 1.14 中调度大规模作业的时间成本和内存使用量显着降低。在第二部分，我们将详细阐述这些优化的细节。 分发模式描述了消费者任务如何连接到生产者任务。目前，Flink 中有两种分布模式：pointwise 和 all-to-all。当分布模式在两个顶点之间是逐点分布时，遍历所有边的计算复杂度为 O(n)。当分布模式为 all-to-all 时，遍历所有边的复杂度为 O(n 2 )，这意味着随着规模的增加，复杂度会迅速增加。
10 天前 / u561252
作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问）维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon Kinesis、Apache Kafka、Alluxio、HDFS、Apache Cassandra 和 Elasticsearch 等系统提供了数据源和接收器”，很快，这句话的前半句或许将不再适用。 2021 年初，在 InfoQ 编辑部策划的全年技术趋势展望中，我们提到大数据领域将加速拥抱“融合”（或“一体化”）演进的新方向。本质是为了降低大数据分析的技术复杂度和成本，同时满足对性能和易用性的更高要求。
12 天前 / sjf0115
简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放：https://developer.aliyun.com/live/2894 一、背景介绍 （一）流平台通用框架 目前流平台通用的架构一般来说包括消息队列、计算引擎和存储三部分，通用架构如下图所示。客户端或者 web 的 log 日志会被采集到消息队列；计算引擎实时计算消息队列的数据；实时计算结果以 Append 或者 Update 的形式存放到实时存储系统中去。
16 天前 / sjf0115
1. 行业实践伴鱼基于 Flink 构建数据集成平台的设计与实现 汽车之家基于 Apache Flink 的跨数据库实时物化视图探索 5 年迭代 5 次，抖音基于 Flink 的推荐系统演进历程 2021 年网易云音乐实时计算平台发展和挑战 Flink 在 58 同城的应用与实践 伴鱼：借助 Flink 完成机器学习特征系统的升级 Flink 在顺丰的应用实践 Apache Flink 在京东的实践与优化 SmartNews：基于 Flink 加速 Hive 日表生产的实践 Flink 在爱奇艺广告业务的实践 360 政企安全集团基于 Flink 的 PB 级数据即席查询实践 唯品会：在 Flink 容器化与平台化上的建设实践 基于 Flink 打造的伴...
21 天前 / sjf0115
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。 1.Flink Kafka 的使用 在 Flink 中使用 Kafka Connector 时需要依赖 Kafka 的版本，Flink 针对不同的 Kafka 版本提供了对应的 Connector 实现。
30 天前 / 趣编程
点击关注“有赞 coder” 获取更多技术干货哦～ 作者：李闯 郭理想 背景 随着有赞实时计算业务场景全部以 Flink SQL 的方式接入，对有赞现有的引擎版本—Flink 1.10 的 SQL 能力提出了越来越多无法满足的需求以及可以优化的功能点。目前有赞的 Flink SQL 是在 Yarn 上运行，但是在公司应用容器化的背景下，可以统一使用公司 K8S 资源池，同时考虑到任务之间的隔离性以及任务的弹性调度，Flink SQL 任务 K8S 化是必须进行的，所以我们也希望通过这次升级直接利社区的 on K8S 能力，直接将 FlinkSQL 集群迁移到 K8S 上。
41 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼ 摘要：数据仓库有四个基本的特征：面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提，指将多个分散的、异构的数据源整合在一起以便于后续的数据分析。将数据集成过程平台化，将极大提升数据开发人员的效率，本文主要内容为： 数据集成 VS 数据同步集成需求数据集成 V1 数据集成 V2 线上效果总结 Tips：FFA 大会以及 Hackathon 比赛重磅开启，点击「阅读原文」了解详情～ A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collecti...
43 天前 / reesunhuang
1、资源配置调优 Flink 性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 提交方式主要是 yarn-per-job，资源的分配在使用脚本提交 Flink 任务时进行指定。标准的 Flink 任务提交脚本（Generic CLI 模式）从 1.11 开始，增加了通用客户端模式，参数使用 -D 指定。 bin/flinkrun -tyarn-per-job -d -p5\指定并行度 -Dyarn.application.queue=test\指定 yarn 队列 -Djobmanager.memory.process.size=1024mb\指定 JM 的总进程大小...
54 天前 / 比百事还可乐
1. 测试过程环境版本说明 Flink1.13.1 Scala2.11 CDH6.2.0 Hadoop3.0.0 Hive2.1.1 Hudi0.10(master) PrestoDB0.256 Mysql5.7 2. 集群服务器基础环境 2.1 Maven 和 JDK 环境版本 2.2 Hadoop 集群环境版本 2.3 HADOOP 环境变量配置 export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_CALSSPATH=`$HADOOP_HOME/bin/hadoop classpath` 3. Hudi 编译环境配置 3.1 Maven Home settings.xml 配置修改说明：指定 aliyun maven 地址 ( 支持 CDH cloudera 依赖) mirror 库 alimavencentral,!clouderaaliyun mavenhttp://maven.aliyun.com/nex...
80 天前 / sjf0115
1. 有状态流从高层次上讲，我们可以将流处理中的状态视为算子中的内存，在内存中记录有关过去输入的信息，并可以作用于将来输入的处理。相反，无状态流处理中的算子仅关注当前输入，不关注上下文以及过去的输入。用一个简单的示例来说明这种差异：假设我们有一个数据流，事件格式为{event_id：int，event_value：int}。我们的目标是提取每个事件的 event_value 并输出。我们可以通过简单的 source-map-sink 管道轻松实现，其中 map 函数从事件中提取 event_value 并将其发送到下游的 Sink。这是一个无状态流处理的实例。
88 天前 / 逗逗
了解背压什么是背压在流式处理系统中，如果出现下游消费的速度跟不上上游生产数据的速度，就种现象就叫做背压 (backpressure,有人叫反压，不纠结，本篇叫背压)。本篇主要以 Flink 作为流式计算框架来简单背压机制，为了更好理解，只做简单分享。 背压产生的原因下游消费的速度跟不上上游生产数据的速度，可能出现的原因如下： （1）节点有性能瓶颈，可能是该节点所在的机器有网络、磁盘等等故障，机器的网络延迟和磁盘不足、频繁 GC、数据热点等原因。 （2）数据源生产数据的速度过快，计算框架处理不及时。
96 天前 / sjf0115
▼ 关注「大数据生态」，获取更多技术干货▼ Flink 版本：1.13.0 在过去的几年里，背压的问题从不同的角度得到了解决。然而，在判断和分析背压来源时，最近的 Flink 版本发生了很大的变化（尤其是在 Flink 1.13 中新增了监控指标和 Web UI）。这篇文章将一起看一下其中的一些变化，并详细介绍如何追踪背压的来源，但首先…… 1. 什么是背压？Flink 如何处理背压这篇文章虽然比较旧，但比较准确的解释了背压。如果您不了解背压这个概念，我强烈建议您阅读一下。