1299 天前 / zhishemg
前言Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结果与告警规则的阈值进行比较...
1316 天前 / 美团技术团队
总第291篇 2018年 第83篇 引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》...
1320 天前 / 黄军雷
阿里妹导读：伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎Apache Flink（以下简称Flink）。
1352 天前 / sjf0115
在本文中，我们将深入探讨Flink新颖的检查点机制是如何工作的，以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试，并通过在Apache Storm（一种广泛使用的低延迟流处理器）上运行相同的实验来进行对比。1. 流式架构的演变在流处理中保证高性能同时又要保证容错是比较困难的。
1360 天前 / sjf0115
本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢？本文将一一为你揭开这些神秘的面纱。
1383 天前 / sjf0115
本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容，主要包括实时计算框架和提供实时基础数据，以及机器学习平台的工作。之前在美团点评，也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。
1384 天前 / sjf0115
阿里妹导读：本文将为大家展示饿了么大数据平台在实时计算方面所做的工作，以及计算引擎的演变之路，你可以借此了解Strom、Spark、Flink的优缺点。如何选择一个合适的实时计算引擎？Flink凭借何种优势成为饿了么首选？本文将带你一一解开谜题。 本文作者：易伟平 整理：姬平&郑宁 平台现状 下面是目前饿了么平台现状架构图： 来源于多个数据源的数据写到k...
1388 天前 / 眠三沐
Flink处理“流”，对流消息的处理支持三种级别语义分别是“At Most once、At Least once、Exactly once”。 At Most onces：消息最多被处理一次，sender发出消息之后，receiver无论是否处理成功，都不会再重发。类似于UDP协议的效果，只管发送，不管结果。
1389 天前 / sjf0115
前面，已经有一篇文章讲解了spark的checkpoint:必会:关于SparkStreaming checkpoint那些事儿 同时，浪尖也在知识星球里发了源码解析的文章。spark streaming的Checkpoint仅仅是针对driver的故障恢复做了数据和元数据的Checkpoint。
1390 天前 / 眠三沐
Qestion: Flink被用来和Spark相比，但是我认为这样的比较不太合适，把Flink窗口事件和Spark微批处理进行比较，同样的Flink与Samza对比也是，这两种情况下的比较都是实时流计算与批量处理事件策略的比较，我更想比较Flink与Storm之间的区别，这两者在概念上更相近。
1396 天前 / sjf0115
感谢阅读「美图数据技术团队」的第 7 篇文章，关注我们持续获取美图最新数据技术动态。 本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Stream 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。
1406 天前 / sjf0115
作者 | Kostas Tzoumas译者 | 陈守元（花名：巴真）编辑 | VincentAI 前线导读：本文主要翻译自《high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink》，作为 Flink 发明人以及 data-Artisan(Flink 背后...
1512 天前 / u309755
Flink 中 State 用于保存 Task 的状态，Checkpoint 的时候，会将 State 保存到外存中。State 有两种，Keyed State 和 Operator State，每一种则可以有两种形式存在：Managed 和 Raw。其中 Keyed State 只能引用在 Keyed Stream 上...
1650 天前 / crane-yuan
1. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。
1744 天前 / sjf0115
任务与运算符链接在实际的分布式计算环境中，Flink 会将多个运算子任务链接到分布式计算任务中。每个线程执行一个计算任务。将运算符链接到计算任务中对于系统性能的提升有很大的帮助：它降低了线程间切换与缓冲的开销，并且在降低延时的同时减少了系统的总体吞吐量。可以对这种链接操作进行配置，具体内容请参考链接文档。