28 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
29 天前 / vivo互联网技术
本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。 背景 最近要把原来做的那套集中式日志监控系统进行迁移，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不过有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这......
30 天前 / 公众号_小哈学Java
点击上方“小哈学Java”，选择“星标” 回复“666”，领取100G独家整理的学习资料哟~ 目录一、什么是 Kafka 二、为什么要用 Kafka 三、Kafka 环境安装 四、Spring Boot 2.x 整合 Kafka 五、总结 六、GitHub 源码地址 什么是 KafkaKafka 是 Apache 基金会开源的一个分布式发布 - 订阅消息中间件，流处理平台。它起源于 LinkedIn，由 Scala 和 Java两种语言编写而成。于 2011 年成为 Apache 项目，2012 成为 Apache 基金会下顶级项目。 Kafka 专为分布式高吞吐系统而设计。相比较其他消息中间件，如 RabbitMq 等，Kafka 具有更好的吞......
31 天前 / dwwhs
前几篇文章分析了Kafka的发送流程以及NIO的使用方式，但是还是留下了不少坑，这里就对剩下的问题做一个总结。 收到的数据为什么要缓存起来Kafka中Selector读取从远端回来的数据的时候会先把收到的数据缓存起来 privatevoidattemptRead(SelectionKeykey,KafkaChannelchannel)throwsIOException{ //ifchannelisreadyandhasbytestoreadfromsocketorbuffer,andhasno //previousreceive(s)alreadystagedorotherwiseinprogressthenreadfromit if(channel.ready()&&(key.isReadable()||channel.hasBytesBuffered())&&!hasStagedReceive(channel) &&!......
39 天前 / CainGao0
致歉声明本人CainGao,在这里深深的为之前的一篇文章<记一次海外数据进行中转传输到Kafka集群的过程>的错误进行道歉。在之前那期的文章中，本人说实现producer节点的数据通过nginx节点发送到Kafka集群中是错误的。 需求起源 由于某些海外节点的数据发送到Kafka的上海集群会产生较高的延迟,因为公网访问的时候数据可能会进行多次中转,而导致网络延迟较高。所以增加了一个地区中转，该地区的网络情况到所有的节点的网络情况较好(厂商推荐)。 所以想把数据通过该地区做一次中转，再发送到上海。这样来看整体时延约120ms+。所以在Kafka的prod......
39 天前 / 靳刚同学
01 幂等性如此重要Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统（如结算平台），就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，产生的后果将会特别严重。02 哪些因素影响幂等性使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中，出现网络分区是不可避免的，如果kafka broker 在回复ack时，出现网络故障或者是full gc导致ack timeout，producer将会重发，如何保证producer重试时不造成重复or乱序？又或者producer 挂了，新的producer并没有old producer的状态数据，这......
47 天前 / 伯仁
MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。Kafka是什么？ Kafka是一个分布式的消息引擎。具有以下特征 能够发布和订阅消息流（类似于消息队列） 以容错的、持久的方式存储消息流 多分区概念，提高了并行能力 Kafka架构总览 Topic消息的主题、队列，每一个消息都有它的topic，Kafka通过topic对消息进行归类。Kafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物......
55 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
62 天前 / 苏鹭彬
在大数据领域的，Kafka作为消息发布订阅系统，为同学们所熟悉，它有非常好的扩展性。能够在大数据环境下实现高吞吐量和高可用。那么Kafka是如何保证数据的可靠性和一致性的呢？ 可靠性 可靠性方面，Kafka主要在Leader的选举、Broker的分布式部署、Partition的replication和Producer的acks三个方向进行保障。 Leader选举机制 Kafka Leader主要从维护的ISR（in-sync replicas）列表中选出，那么什么是ISR列表呢？我们来看下面一张图 这里我们可以发现Kafka的每一个partition都维护了一个ISR列表，这个ISR官方的解释是："isr" is ......
84 天前 / 逗逗
点击上方“朱小厮的博客”，选择“设为星标” 做积极的人，而不是积极废人 很多同学私信问我Kafka在性能优化方面做了哪些举措，对于相关问题的答案其实我早就写过了，就是没有系统的整理一篇，最近思考着花点时间来整理一下，下次再有同学问我相关的问题我就可以潇洒的甩个链接了。这个问题也是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。在网上也有很多相关的文章开讲解这个问题，比如之前各大公众号转载的“为什么Kafka这么快？”，这些文章我看了，写的不错，问题在于只是罗列了部分的要领，没有全部的详述出来。本文所罗列......
103 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
104 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
109 天前 / 浪尖
flink与kafka整合是很常见的一种实时处理场景，尤其是kafka 0.11版本以后生产者支持了事务，使得flink与kafka整合能实现完整的端到端的仅一次处理，虽然这样会有checkpoint周期的数据延迟，但是这个仅一次处理也是很诱人的。可见的端到端的使用案例估计就是前段时间oppo的案例分享吧。关注浪尖微信公众号(bigdatatip)输入 oppo 即可获得。 1.flink sql与kafka整合方式介绍 flink SQL与kafka整合有多种方式，浪尖就在这里总结一下： 1.datastream转table 通过addsource和addsink API，整合，生成Datastream后注册为表，然后sql分析。 主要接口......
111 天前 / 浪淘沙
目录 1.有Broker的暴力路由：Kafka 2.有Broker的复杂路由：RabbitMQ 3.无Broker的通信流派：ZeroMQ 4.总结 写在前面 我们知道，目前市面上的MQ包括Kafka、RabbitMQ、ZeroMQ、RocketMQ等等。 那么他们之间究竟有什么本质区别，分别适用于什么场景呢？ 上述抛出的问题，同样在不少公司的Java工程师面试中出现，特别是当你简历上的技术栈包含了这些技术，面试官往往喜欢用这个问题，对你进行摸底考察。 本文我们就一起来探讨一下。 （1）有Broker的暴力路由 这个流派最典型的就是Kafka，Kafka......