5 天前 / 阿甘_paul
规则引擎通常对我们的理解就是用来做模式匹配的，在数据流里面检测满足规则要求的数据。有人会问为什么需要规则动态变更呢？直接修改了规则把服务重启一下不就可以了吗，这个当然是不行的，规则引擎里面通常会维护很多不同的规则，例如在监控告警的场景下，如果每个人修改一下自己的监控阈值，就重启一下服务，必然会影响其他人的使用，因此需要线上满足规则动态变更加载。本篇基于 Flink-Cep 来实现规则动态变更加载，同时参考了 Flink 中文社区刘博老师的分享 (https://developer.aliyun.com/article/738454)...
6 天前 / sjf0115
点击上方蓝色字体，选择“设为星标” 回复”资源“获取更多资源 在进入本文之前，我先问大家一个问题，你们公司或者业务系统上是如何对生产集群上的数据同步任务、实时计算任务或者是调度任务本身的执行情况和日志进行监控的呢？可能你会回答是自研或者 ELK 系统或者 Zabbix 系统。今天我们要介绍的主角可能会吊打上面的监控系统哦。随着容器技术的发展，Kubernetes 已然成为大家追捧的容器集群管理系统。Prometheus 作为生态圈 Cloud Native Computing Foundation（简称：CNCF）中的重要一员，其活跃度仅次于 Kubernetes...
9 天前 / sjf0115
作者|张颖、刘露、段学浩、王东旭 摘要：本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下： 背景 京东搜索在线学习架构 实时样本生成 Flink Online Learning 监控系统 规划总结 Tips：点击文末「阅读原文」可查看更多企业最佳实践～ 一、背景 在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。
21 天前 / 逗逗
导读 随着公司用户增长业务快速发展，陆续孵化出 部落、同镇、C 端会员、游戏等非常多的业务板块。与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数仓的建设变得越发重要起来。本文主要介绍用户增长业务基于 Flink 构建实时数仓的实践之路。 实时数仓 1.0 介绍 如下图是早期的实时计算架构，实时数据需求较少，架构简单，数据链路少，一路到底的开发模式能很快满足业务需求； 但是，随着产品和业务人员对实时数据需求的不断增多，上面的架构带来了如下的问题： 需求驱动的烟囱式开发...
28 天前 / sjf0115
在本文中，我们将解释什么是 Savepoint，什么会使用它们，并就它们与 Checkpoint 的区别进行对比分析。 1. 什么是 Savepoint 和 CheckpointSavepoint 是一项可让我们为整个流应用程序生成”某个时间”点快照的能力。快照包含有关您输入源的位置信息，以及数据源读取到的偏移量信息以及整个应用程序状态信息。我们可以使用 Chandy-Lamport 算法的变体在不停止应用程序的情况下获得全部状态的一致性快照。
41 天前 / 逗逗
一、什么是 checkpoint 上次发文，提到了 Flink 可以非常高效的进行有状态流的计算，通过使用 Flink 内置的 Keyed State 和 Operator State，保存每个算子的状态。 默认情况下，状态是存储在 JVM 的堆内存中，如果系统中某个环节发生了错误，宕机，这个时候所有的状态都会丢失，并且无法恢复，会导致整个系统的数据计算发生错误。 此时就需要 Checkpoint 来保障系统的容错。Checkpoint 过程，就是把算子的状态周期性持久化的过程。 在系统出错后恢复时，就可以从 checkpoint 中恢复每个算子的状态，从上次消费的地方重新开始消费和计算。
55 天前 / sjf0115
本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本，是一种分布式列式存储的数据库，构建在 HDFS 之上的 NoSQL 数据库，非常适合大规模实时查询，因此 HBase 在实时计算领域使用非常广泛。可以实时写 HBase，也可以利用 buckload 一把把离线 Job 生成 HFile Load 到 HBase 表中。而当下 Flink SQL 的火热程度不用多说，Flink SQL 也为 HBase 提供了 connector，因此 HBase 与 Flink SQL 的结合非常有必要实践实践。
56 天前 / 逗逗
一、问题分析概览 流计算作业通常运行时间长，数据吞吐量大，且对时延较为敏感。但实际运行中，Flink作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况，甚至发生崩溃和重启，影响输出数据的质量，甚至会导致线上业务中断，造成报表断崖、监控断点、数据错乱等严重后果。 本文会对 Flink常见的问题进行现象展示，从原理上说明成因和解决方案，并给出线上问题排查的工具技巧，帮助大家更好地应对Flink 作业的异常场景。
69 天前 / 逗逗
本文根据刘建刚老师在〖deeplus 直播第 244 期〗线上分享演讲内容整理而成。（文末有获取本期 PPT& 回放的方式，不要错过） 刘建刚 快手软件工程师 现就职于快手数据架构部，当前主要工作为快手 Flink 平台的研发和维护； 曾就职于百度基础架构部。 本次分享主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。 一、流式计算的介绍 流式计算的定义：流式计算主要针对 unbounded data（无界数据流）进行实时的计算，将计算结果快速的输出或者修正。
72 天前 / CainGao0
CDC (Change Data Capture)Flink 在 1.11 版本中新增了 CDC 的特性，简称 改变数据捕获。名称来看有点乱，我们先从之前的数据架构来看 CDC 的内容。 以上是之前的 mysql binlog 日志处理流程，例如 canal 监听 binlog 把日志写入到 kafka 中。而 Apache Flink 实时消费 Kakfa 的数据实现 mysql 数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。 mysql 开启 binlogcanal 同步 binlog 数据写入到 kafkaflink 读取 kakfa 中的 binlog 数据进行相关的业务处理。整体的处理链路较长，需要用到的组件也比较多。
77 天前 / sjf0115
Flink 版本：1.11.2 编写单元测试是设计生产应用程序的基本任务之一。如果不进行测试，那么一个很小的代码变更都会导致生产任务的失败。因此，无论是清理数据、模型训练的简单作业，还是复杂的多租户实时数据处理系统，我们都应该为所有类型的应用程序编写单元测试。下面我们将提供有关 Apache Flink 应用程序的单元测试指南。Apache Flink 提供了一个强大的单元测试框架，以确保我们的应用程序在上线后符合我们的预期。 1. Maven 依赖如果我们要使用 Apache Flink 提供的单元测试框架...
84 天前 / 柳年思水
Stateful Serverless 背后的 Flink StateFun 内部机制实现【译】Oct 31, 2020 | 技术| 2,811 字 | Times 文章目录 1. 一个 StateFun 示例： Shopping Cart2. Stateful Functions Runtime 是如何工作的？2.1. Remote Invocation Request-Reply Protocol2.2. Function state consistency and fault-tolerance2.3. Step-by-step walkthrough of function invocations3. 总结本篇是 Flink StateFun 的第二篇文章，文中的内容是来自 Stateful Functions Internals: Behind the scenes of Stateful Serverless 的翻译...
84 天前 / sjf0115
几乎所有的 Flink 应用程序（包括批处理与流处理程序）都需要依赖外部配置参数。例如，可以用来指定输入和输出源 ( 如路径或者地址)，系统参数 ( 并发数，运行时配置)以及应用程序特定参数（通常用在自定义函数中）。 从 0.9 版本开始，Flink 提供了一个叫 ParameterTool 的简单程序，提供一些基础的工具来解决上述问题，当然你也可以不用这里描述的 ParameterTool，你可以使用其他框架，例如，Commons CLI、argparse4j 在 Flink 中也是支持的。 1. 解析参数下面我们看一下如何获取配置并导入 ParameterTool 中。
86 天前 / sjf0115
简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放：https://developer.aliyun.com/live/2894 一、背景介绍 （一）流平台通用框架 目前流平台通用的架构一般来说包括消息队列、计算引擎和存储三部分，通用架构如下图所示。客户端或者 web 的 log 日志会被采集到消息队列；计算引擎实时计算消息队列的数据；实时计算结果以 Append 或者 Update 的形式存放到实时存储系统中去。
89 天前 / 逗逗
概述 2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者必须面对的，本文结合自己作为面试官过程中的经验详细总结了近 50 个关于 Flink 的面试考察点。