1 天前 / openio
点击蓝色“Java极客技术”关注我哟 加个“星标”，一起快乐成长 这是 Java 极客技术的第252篇原创文章上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过消息这个词的，这也是 Kafka 最最核心的内容，Kafka 的消息从哪里来？到哪里去？都干什么了？别着急，一步一步来，先说说 Kafka 的消息从哪来。 生产者概述在 Kafka 中......
7 天前 / 孤独键客
点击上方"程序员的成长之路"，选择"置顶或星标"你关注就是我关心的！「 预计阅读 6分钟 」旁白：这是一篇拖更了N久的文章...0.0（看不见我~） 往期回顾 前端框架 jQuery 和 Vue 如何选择？ 安全框架 Shiro 和 Spring Security 如何选择？ 正文 消息队列（MQ） 在百度百科中，消息队列（MQ）是这么解释的：“消息队列”是在消息的传输过程中保存消息的容器（可存可取）。 它是分布式系统中重要的组件，使用消息队列主要是为了通过异步处理提高系统性能和削峰和降低系统耦合性。 异步处理：多应用对消息队列中同一消息进行处理，应用间并......
8 天前 / Joinncat
Kafka是一种高吞吐量的分布式流处理平台，它具有高可用、高吞吐量、速度快、易扩展等特性。本篇将介绍如何使用Spring Boot整合Kafka及使用Kafka实现简单的消息发送和消费，主要包括以下3部分内容： Kafka 整合Kafka 小结 Kafka Kafka是Apache组织下的一个分布式流处理平台，它具有以下三个功能特性: 作为消息系统，发布和订阅流式的记录，这个与消息队列或者企业消息系统类似。 作为存储系统，储存流式的记录，并且有较好的容错性。 作为流处理，在流式记录产生时就进行实时处理。 Kafka可用于构建以下两大类别的应用: 构造实时......
10 天前 / 公众号「后端进阶」
高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就在于任何系统都不能保证其稳定运行，当 leader 副本所在的 broker 崩溃之后，其中一个 follower 副本就会成为该分区下新的 leader 副本，那么问题来了，在选为新的 leader 副本时，会导致消息丢失......
12 天前 / 公众号「后端进阶」
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中花费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整个集群的性能影响等，特此将这个过程总结一下，也为双十一打了一剂强心剂。 排查问题与分析接到用户的反馈后，我用脚本测试了一遍，并对比了另外一个正常的 Kafka 集群，发现耗时确实很高，接下来 经过排查，发现有客户端在频繁断......
17 天前 / 阿甘_paul
点击上方蓝字关注~ 最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下： val kafkaProducer: FlinkKafkaProducer011[String] = new FlinkKafkaProducer011[String]( sinkTopic, new StringKeyedSerializationSchema,producerConfig, sinkSemantic) ds.addSink(kafkaProducer).setParallelism(sinkParallelism) 其中StringKeyedSerializationSchema是自定义的实现KeyedSerializationSchema的序列化器，用于序列化写入kafka的key/value, 任务也上线了，在flink web页面看到任务各项指标一切正常，也测试消费写入kaf......
25 天前 / Linx___
从KafkaConsumer看看Kafka（一）Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于kafka 2.4； Kafka消费模型关键点：1、Kafka一个消费组（ConsumerGroup）中存在一个或多个消费者（Consumer），每个消费者也必须属于一个消费者组； 2、消费者组（ConsumerGroup）中的消费者（Consumer）独占一个或多个分区（Partition）； 3、消费时每......
33 天前 / 公众号「后端进阶」
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配分区再进行消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下： 从图中可以找到消费组模型的几个概念： 1.同一个消费组，一个分区只能被一个消费者订阅消费，但一个消费者可订阅多个分区，也即是每条消息只会被同一个消费组的某一个消费者消费，确保不......
39 天前 / 公众号「后端进阶」
还记得前几天有个小伙伴跟我反馈发送消息时提示请求数据过大的异常吗？经过调整 max.request.size 的大小之后，又报了了如下异常： 查看相关资料后，发现 Broker 端对 Producer 发送过来的消息也有一定的大小限制，这个参数叫 message.max.bytes，这个参数决定了 Broker 能够接收到的最大消息的大小，它的默认值为 977 KB，而 max.request.size 的值已经设置成 2M 大小了，很显然已经比 message.max.bytes 大了很多，因此消息大于 997KB 时，就会抛出如上异常。 值得一提的是，主题配置也有一个参数，叫 max.message.bytes，它只针对某个主题......
54 天前 / 虞大胆
最近在看《Kafka核心技术与实战》专栏，感觉写的不错，作者很用心，比如对于术语的使用非常谨慎，推荐购买，这个专栏可能面向的不是初学者，所以连基本的安装都没有讲解，为此我读了官方的Quickstart，简单描述下在Windows下如何使用。 最近我学习了很多分布式领域的中间件，Kafka无疑是很重要的一个，其实很多分布式中间件的原理还是相同的，比如副本冗余，负载均衡，分区，ZooKeeper的共识。在学习过程中，让我意识到Java的重要性，很多中间件都是使用类Java语言开发的，未来我需要学习一下吗？ 废话少说，Kafka源文件下载后，可以同时在Linux......
54 天前 / sjf0115
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在consumer段，kafka只允许单个partition的数据被一个consumer线程消费。因此，在consumer端，每一个Consumer Group内部的consumer并行度完全依赖于......
56 天前 / 编程一生
kafka的术语（Terminology） Topic和Consumer Group Topic每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic 的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处） 对应用来说，生产者要发布消息，必须指定一个主题topic。以确定发到哪里了。 Consumer Group消费组，每个Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定 group name，若不指定 group name 则属于默认的 grou......
57 天前 / 虞大胆
在《Kafka快速开始》中简单描述了Kafka如何发送和消费消息，使用的是内置的命令行操作，在现实中，肯定要使用语言级别的API操作，Kafka原生的API是Java语言写的，我对Java不太熟悉，所以找了个Python的API，这就是kafka-python，和Java API很类似，安装非常简单pip3 install kafka-python。 今天简单说下生产者API，Kafka和http这样的传输协议很不一样，客户端会做很多的操作，所以在理解的时候必须改变这个观念，尤其消费者API使用更让人抓狂。 首先理解下客户端API的运行机制，包含两个步骤，看上去很简单，但内部工作并不那么容易理解。KafkaP......
86 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......