8 小时前 / 阿甘_paul
点击上方蓝 字关注~ 最近将Flink集群从1.6升级到1.8，主要是为了使用1.8的两个特性：一个是universal kafka ，另外一个是rocksdb ttl, 然后注意到1.8 提供了Influxdb 的reporter, 在最开始1.6使用的rest api方式主动请求对应的metric, 使用这种方式目前有两个弊端： 前期使用metric比较少，自己通过开发图表展示，但是后期需要新的metric 都需要开发一次 客户端使用轮询的方式去请求，如果任务比较多就会造成一定延时，并且实时平台在做高可用情况下，涉及定时的切换，给系统开发带来一定复杂性 面对这两个问题选择了influxdb+grafana的......
3 天前 / sjf0115
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。 关于 Flink 的反压机制，网上已经有不少博客介绍，中文博客推荐这两篇[1][2]。简单来说，Flink 拓扑中每个节点（Task）间的数据都以阻塞队列的方式传输，下游来不及消费导致......
3 天前 / 阿甘_paul
点击上方蓝 字关注~ 短窗口的计算由于其窗口期较短，那么很快就能获取到结果，但是对于长窗口来说窗口时间比较长，如果等窗口期结束才能看到结果，那么这份数据就不具备实时性，大多数情况我们希望能够看到一个长窗口的结果不断变动的情况，对此Flink提供了ContinuousEventTimeTrigger连续事件时间触发器与ContinuousProcessingTimeTrigger连续处理时间触发器，指定一个固定时间间隔interval，不需要等到窗口结束才能获取结果，能够在固定的interval获取到窗口的中间结果。 ContinuousEventTimeTriggerContinuousEventTimeTrigge......
5 天前 / sjf0115
本文由 Apache Flink Contributor 刘彪分享，对什么是 Metrics、如何使用 Metrics两大问题进行了详细的介绍，并对 Metrics 监控实战进行解释说明。 什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下：......
7 天前 / 阿甘_paul
点击上方蓝 字关注~ TopN 的需求场景不管是在离线计算还是实时计算都是比较常见的，例如电商中计算热门销售商品、广告计算中点击数前N的广告、搜索中计算搜索次数前N的搜索词。topN又分为全局topN、分组topN, 比喻说热门销售商品可以直接按照各个商品的销售总额排序，也可以先按照地域分组然后对各个地域下各个商品的销售总额排序。本篇以热门销售商品为例，实时统计每10min内各个地域维度下销售额top10的商品。 这个需求可以分解为以下几个步骤： 提取数据中订单时间为事件时间 按照区域+商品为维度，统计每个10min中的销售额 按照区域为......
11 天前 / 小米云技术官方
关于Flink流式计算节省资源方面你必须知道的技巧 往期文章回顾：小米流式平台架构演进与实践Flink在小米的发展简介 小米在流式计算方面经历了Storm、Spark Streaming和Flink的发展历程；从2019年1月接触Flink到现在，已经过去了大半年的时间了。对Flink的接触越深，越能感受到它在流式计算方面的强大能力；无论是实时性、时间语义还是对状态计算的支持等，都让很多之前需要复杂业务逻辑实现的功能转变成了简洁的API调用。还有不断完善的Flink SQL功能也让人充满期待，相信实时数据分析的门槛会越来越低，更多的业务能够挖掘出数据更实时更深......
18 天前 / 阿甘_paul
点击上方蓝 字关注~ 维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 在异步IO查询外部存储时，对于提供异步查询的客户端来说可以直接使用，但是对于没有提供异步查询的客户端应该怎么做呢？我们可以将查询请求丢到一个线程池中，将这个线程池看做是一个异步的客户端来帮助我们完成查询请求。 通过线程池方式来帮助我们完成异步请求关键在于线程池的core大小如何设置，如果设置过大，会......
19 天前 / 阿甘_paul
点击上方蓝 字关注~ 一、背景在电商商品购买过程中有这样一些场景：用户点击下单，此时订单处于待支付状态，如果在2小时之后还处于待支付状态那么就将这笔订单取消，置为取消状态；用户收货之后可以对商品进行评价，如果在24小时内仍然没有评价，那么自动将用户对商品的评分设置为5星….等等，这样的场景都可以称之为延时处理场景，当数据发送出去了，不立刻进行处理，而是等待一段时间之后在处理，目前对于延时处理的方案也有很多，例如： java中DelayQueue 内部使用优先级队列方式存储消息体，存放的消息体实现Dealy接口，然后......
19 天前 / 尹千觞
在上一篇文章中，对使用 Prometheus 监控Flink进行了阐述（传送门），这里就不再赘述了。 尽管 Prometheus 自我标榜是监控解决方案， FrommetricstoinsightPoweryourmetricsandalertingwithaleadingopen-sourcemonitoringsolution. 但是在我们日常使用中，Prometheus 更多担任的是数据采集平台和任务调度的职责，对于监控数据的可视化，我们更多是交给 Grafana 来完成。 TheopenobservabilityplatformGrafanaistheopensourceanalytics&monitoringsolutionforeverydatabase 从 Grafana 的 solgan 可以看出来，其在分析领域的野......
21 天前 / sjf0115
点击蓝字 关注~~ 维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 LRULRU(Least Recently Used)，最近最少使用缓存淘汰算法，认为最近访问过的数据在将来被访问的概率也比较大，当内存达到上限去淘汰那些最近访问较少的数据。 在Flink中做维表关联时，如果维表的数据比较大，无法一次性全部加载到内存中，而在业务上也允许一定数据的延时，那么就可以使用LRU策略加载维表数据。但是如果一条维表数据......
24 天前 / 阿甘_paul
点击上方蓝字关注~ 最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下： val kafkaProducer: FlinkKafkaProducer011[String] = new FlinkKafkaProducer011[String]( sinkTopic, new StringKeyedSerializationSchema,producerConfig, sinkSemantic) ds.addSink(kafkaProducer).setParallelism(sinkParallelism) 其中StringKeyedSerializationSchema是自定义的实现KeyedSerializationSchema的序列化器，用于序列化写入kafka的key/value, 任务也上线了，在flink web页面看到任务各项指标一切正常，也测试消费写入kaf......
26 天前 / mr7
供稿 | Rheos Team 徐朝晖编辑 | 顾欣怡本文2238字，预计阅读时间7分钟更多干货请关注“eBay技术荟”公众号 导读 Apache Flink作为低延迟、高吞吐的大数据计算引擎，在实时数据处理领域有着优越的地位。本文将从集群生命周期管理、Job生命周期管理、Job快照管理三个方面介绍eBay Rheos Team如何将Flink算力服务化、便捷化。希望能给同业人员相应的借鉴与启发。 实时数据处理是当前数据生态的热门关注环节，是业务创新的重要前提。Flink从诞生之初就定位于实时计算的框架和引擎，演化至今，已经发展成为实时数据处理领域的佼佼者。然而，F......
29 天前 / 阿甘_paul
点击上方蓝 字关注~ 维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 在维表关联中定时全量加载是针对维表数据量较少并且业务对维表数据变化的敏感程度较低的情况下可采取的一种策略，对于这种方案使用有几点需要注意： 全量加载有可能会比较耗时，所以必须是一个异步加载过程 内存维表数据需要被流表数据关联读取、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，......
32 天前 / 阿甘_paul
Flink Table/SQL 中对于流表TableSink的定义有三类：AppendStreamTable、RetractStreamTableSink 、UpsertStreamTableSink ，这三类主要区别对应不同的流类型，在我看来可以归纳为两种模式： Insert模式，对应AppendStreamTable，只能执行insert动作，例如窗口聚合结果，每个窗口的结果都是唯一的，不会影响之前窗口的输出结果 Redo模式，对应RetractStreamTableSink /UpsertStreamTableSink，除了执行Insert动作，还可执行Update/Delete动作，也就是结果可更新，例如全局group by聚合，后面的结果会影响之前的输出，RetractStreamTableSin......
33 天前 / CainGao0
在使用Apache Flink对数据进行处理时候，通常需要设置并行度。并行度是Apache Flink中一个非常重要的概念。设置合理的并行度能够加快数据的处理效率，不合理的并行度会造成效率降低甚至是任务出错。 Apache Flink程序包含多个任务(source,transformations/operators,sink)。这些任务使用几个并行实例所进行执行，这些并行的实例称之为并行度。 如何设置并行度Apache Flink支持在不同的级别设置并行度。配置文件、env级别、算子级别。 配置文件默认 在我们提交一个Job的时候如果没有考虑并行度的话，那么Flink会使用默认配置文件中的并行度。我......