5 天前 / 莫若
Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。 先来看下面的一个 Demo，一个流被分成了 3 个流，一个主流，两个侧流输出。 SingleOutputStreamOperatorprocess= kafka_source1.process( newProcessFunction(){ @Override publicvoidprocessElement( JasonLeePOJOvalue, ProcessFunction.Contextctx, Collectorout) throwsException{ //这个是主流输出 if(value.getName().equals("flink")){ out.collect(value); //下面两个是测流输出 }else...
11 天前 / sjf0115
摘要：本文整理自小米大数据部高级软件工程师张蛟在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 发展现状和规模稳定性优化及实践运维优化及实践未来规划与展望 Tips：点击「阅读原文」查看原文视频 &PPT～ 01 发展现状及规模 现阶段，我们的整体架构可以分成 5 层，数据从下往上流动，如上图。 数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务日志以及服务日志，经由 LCS Agent 进行采集，另一类是数据库数据经由 Binlog 或 Checkpoint 数据集成等方式收集到消息队列中。
12 天前 / u561252
9 月 7 日，Lightbend 宣布了 Akka 项目的许可证变更： https://www.lightbend.com/blog/why-we-are-changing-the-license-for-akka 如果您超过一定的收入门槛，您将需要商业许可证才能在生产中使用 Akka 的未来版本（2.7+）。 在宣布后的几个小时内，有几个人联系了 Flink 项目，担心这对 Flink 的影响，因为我们在内部使用 Akka。 这篇博文的目的是阐明我们对此事的立场。 请注意，这个话题仍然很新鲜，事情可能会发生变化。 如果有任何重大变化，我们将修改此博文并通过常规渠道通知您。 Flink 没有任何直接的危险，我们将确保用户不受此更改的影响。
20 天前 / 逗逗
Tech 导读本文综合 Apache Flink 原理与京东实时计算平台（JRC）的背景，详细讲述了大规模 Flink 流作业的调优方法。通过阅读本文，读者可了解 Flink 流作业的通用调优措施，并应用于生产环境。写在前面 Apache Flink 作为 Google Dataflow Model 的工业级实现，经过多年的发展，如今已经成为流式计算开源领域的事实标准。它具有高吞吐、低时延、原生流批一体、高一致性、高可用性、高伸缩性的特征，同时提供丰富的层级化 API、时间窗口、状态化计算等语义，方便用户快速入门实时开发，构建实时计算体系。 古语有云，工欲善其事，必先利其器。
27 天前 / sjf0115
近日，个推 TechDay“治数训练营”系列直播课第二期举办。来自每日互动（个推）的资深数据研发工程师为大家详细解读了实时数仓架构演进，分享了实时数仓的技术选型要点，并结合实战案例详细剖析实时数仓搭建秘诀。 课程回顾 当下，企业的实时计算需求越来越高频。比如很多企业在建的实时数据可视化大屏就是很典型的实时计算场景：大屏数据实时刷新，展示最近一分钟甚至半分钟内的交易额。类似的实时计算场景还有很多，比如智能算法推荐、系统风险预警、实时特征工程等。
37 天前 / sjf0115
FlinkSQL 字段血缘解决方案及源码序号作者版本时间备注 1HamaWhite1.0.02022-08-09 增加文档和源码 作者邮箱： [email protected] 一、基础知识 1.1 Apache Calcite 简介 Apache Calcite 是一款开源的动态数据管理框架，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数据的存储库。Calcite 采用的是业界大数据查询框架的一种通用思路，它的目标是“one size fits all”，希望能为不同计算平台和数据源提供统一的查询引擎。
62 天前 / 逗逗
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自科大讯飞中级大数据工程师汪李之在 Flink Forward Asia 2021 的分享。本篇内容主要分为四个部分： 业务简介 数仓演进 场景实践 未来展望 Tips：点击「阅读原文」查看原文视频 &PPT～ 01 业务简介 构建实时数据分析平台是为了更好的解决业务对更高数据时效性的需求，先简单介绍一下业务流程。 从日常的场景说起，当我们打开手机 APP 时，常会看到广告。在这样一个场景中，涉及到了两个比较重要的角色。一是手机 APP，即流量方；另一个是投广告的广告主，如支付宝、京东会投放电商广告。
68 天前 / sjf0115
摘要：本文整理自 Apache Flink Committer、Flink CDC Maintainer、阿里巴巴高级开发工程师徐榜江（雪尽）在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括： Flink CDC 技术传统数据集成方案的痛点基于 Flink CDC 的海量数据的实时同步和转换 Flink CDC 社区发展 Tips：点击「阅读原文」获取演讲 PDF～ 01 Flink CDC 技术 CDC 是 Change Data Capture 的缩写，是一种捕获变更数据的技术，CDC 技术很早就存在，发展至今，业界的 CDC 技术方案众多，从原理上可以分为两大类： 一类是基于查询的 CDC 技术 ，比如 DataX。
70 天前 / sjf0115
导读：本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交，实现 MySQL 数据库分库分表实时高效接入，并实现 Exactly Once。 作者｜Apache Doris PMC 成员 张家锋 概述 在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。 但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据合并成一个库、一个表，便于我们后面的数据分析。
71 天前 / sjf0115
本文作者：Paul Lin 文章来源：https://www.whitewood.me 随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计算 / 消息队列）都宣称支持 exactly-once，exactly-once 投递似乎是一个已被解决的问题，但是其实它们更多是针对内部模块之间的信息投递，比如 Kafka 生产（producer 到 Kafka broker）和消费（broker 到 consumer）的 exactly-once。
71 天前 / 逗逗
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自网易游戏资深开发工程师林小铂在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 网易游戏 Flink SQL 发展历程基于模板 jar 的 StreamflySQL v1 基于 SQL Gateway 的 StreamflySQL v2 未来工作 Tips：点击「阅读原文」查看原文视频 &PPT～ 01 网易游戏 Flink SQL 发展历程 网易游戏实时计算平台叫做 Streamfly，这个名字取名自电影《驯龙高手》中的 Stormfly。由于我们已经在从 Storm 迁移到 Flink，所以将 Stormfly 中的 Storm 替换成了更为通用的 Stream。
87 天前 / sjf0115
作者：王刚，腾讯 CSIG 高级工程师 Flink 资源模型 / 调度设计背景知识首先，我们来简单回顾一下 Flink 作业的运行时模型，然后再来探讨在这种运行模型下，Flink 的资源模型和调度架构的设计和实现。 我们引用官网非常经典的一张图，来说明一个 Flink 流作业简化后的运行视图。 Tasks 和 Operator Chains （部分译自官网）我们知道，一个 Flink 作业可以看做是由 Operators 组成的 DAG，一个 Operator 代表对数据流的进行的某个数据变化操作（ Sources 和 Sinks 也是代表数据流流入和数据流流出的特殊 Operator ）。
94 天前 / 逗逗
大家好，我是老兵。 今天和大家聊聊 Flink 双流 Join 问题。这是一个高频面试点，也是工作中常遇到的一种真实场景。 如何保证 Flink 双流 Join 准确性和及时性、除了窗口 join 还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。你将在文中找到答案。 1 引子 1.1 数据库 SQL 中的 JOIN 我们先来看看数据库 SQL 中的 JOIN 操作。如下所示的订单查询 SQL，通过将订单表的 id 和订单详情表 order_id 关联，获取所有订单下的商品信息。
96 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括： 平台建设现状遇到的问题及解决未来规划 Tips：点击「阅读原文」查看原文视频 &PPT～ 01 平台建设现状 美团于 2018 年首次引入 Flink 实时计算引擎，当时的实时数仓概念还不太普及，平台只提供了 Flink Jar 任务的生命周期管理和监控报警。 2019 年，我们注意到实时计算的主要应用场景是解决离线数仓时效性低的问题。
98 天前 / sjf0115
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括： MongoDB Change Stream 技术简介 MongoDB CDC Connector 业务实践 MongoDB CDC Connector 生产调优 MongoDB CDC Connector 并行化 Snapshot 改进后续规划 Tips：点击「阅读原文」获取演讲 PDF～ 01 MongoDB Change Stream 技术简介 MongoDB 是一种面向文档的非关系型数据库，支持半结构化数据存储；也是一种分布式的数据库，提供副本集和分片集两种集群部署模式，具有高可用和水平扩展的能力，比较适合大规模的数据存储。