11 小时前 / 捉虫大师
最近，confluent 社区发表了一篇文章，主要讲述了 Kafka 未来的 2.8 版本将要放弃 Zookeeper，这对于 Kafka 用户来说，是一个重要的改进。之前部署 Kafka 就必须得部署 Zookeeper，而之后就只要单独部署 Kafka 就行了。[1] 1.Kafka 简介 Apache Kafka 最早是由 Linkedin 公司开发，后来捐献给了 Apack 基金会。 Kafka 被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。目前 Kafka 具体如下功能： 消息队列，Kafka 具有系统解耦、流量削峰、缓冲、异步通信等消息队列的功能。
4 天前 / yybbb
大家好，我是捡田螺的小男孩。 这篇文章将带着大家参透：到底什么是 Kafka 架构设计的任督二脉？把握住了这个关键点，我相信你将能更好地理解 Kafka 的架构设计，进而顺藤摸瓜地掌握 Kafka 的核心技术方案。废话不多说了，开始发车。 1. Kafka 的技术难点究竟在哪？ 前一篇文章《扒开 Kafka 的神秘面纱》 交代了两个关键信息：1、Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。
18 天前 / sjf0115
网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发展，整体实时数仓已经初具规模，我们已有实时数仓表 300+，运行中的任务数有 1200+。其中 1000 左右的任务是 SQL 任务， Kafka 总出口流量达到到 18GB/S，总用户数达到了 200+。
24 天前 / 比百事还可乐
我很高兴代表 Apache Kafka 社区宣布 Apache Kafka 3.0 的发布。Apache Kafka 3.0 是一个涉及多方面的大版本。Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进——Apache Kafka 的内置共识机制将取代 Apache ZooKeeper。 虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调。我们鼓励您查看 KRaft 的新功能并在开发环境中试用它。 从 Apache Kafka 3.0 开始，生产者默认启用最强的交付保证 ( acks=all, enable.idempotence=true)。
24 天前 / sjf0115
无意之间看到了一篇老文章，一起回顾一下。 在 2016 年 旧金山 QCon 会议上，Neha Narkhede 做了 ‘ETL 已死，而实时流长存’ 的演讲，并讨论了企业数据处理所要面对的不断变化的格局。该演讲的一个核心前提是开源的 Apache Kafka 流处理平台能够提供一个灵活且统一的框架，以支持现代需求的数据转换和处理。 Confluent 的联合创始人兼 CTO Narkhede 在演讲开始时指出，数据以及数据处理系统在过去十年中发生了重大变化。过去传统通常由提供联机事务处理 (OLTP) 的操作数据库以及提供在线分析处理 (OLAP) 的关系数据仓库组成。
27 天前 / sjf0115
很长一段时间以来，公司所做的大部分数据处理都是作为批作业运行，例如，从数据库中转储的 CSV 文件、在一天结束时收集的日志文件等。但企业是实时一直运营的，与其只在一天结束时处理数据，还不如在数据到达时就对其做出反应？这是流处理的新兴世界。但是只有当数据捕获以流的方式完成时，流处理才成为可能；毕竟，我们无法将每天批量处理的 CSV 转储作为流处理。这种向流处理的转变推动了 Apache Kafka 的流行。但是，即使使用 Kafka，构建这种类型的实时数据管道也需要付出一些努力。
27 天前 / Golang梦工厂
背景目前一些互联网公司会使用消息队列来做核心业务，因为是核心业务，所以对数据的最后一致性比较敏感，如果中间出现数据丢失，就会引来用户的投诉，年底绩效就变成 325 了。之前和几个朋友聊天，他们的公司都在用 kafka 来做消息队列，使用 kafka 到底会不会丢消息呢？如果丢消息了该怎么做好补偿措施呢？本文我们就一起来分析一下，并介绍如何使用 Go 操作 Kafka 可以不丢失数据。 本文操作 kafka 基于：https://github.com/Shopify/sarama 初识 kafka 架构维基百科对 kafka 的介绍： Kafka 是由 Apache 软件基金会开发的一个开源流处理平台...
30 天前 / sjf0115
Kafka Consumer( 消费者)每次调用 poll() 方法，它总是返回由生产者写入 Kafka 但还没有被 Consumer 读取过的记录，因此我们可以追踪到哪些记录是被群组里的哪个 Consumer 读取的。Kafka 不会像其他消息队列那样需要得到 Consumer 的确认，相反，Kafka Consumer 可以使用 Kafka 来追踪消息在分区里的偏移量 (Offset)。我们把更新分区当前位置的操作叫作提交 Offset。 因为 Consumer 能够同时消费多个分区的数据，所以 Offset 的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的 Offset。
38 天前 / bugcodes
术语 Leader Epoch:一个 32 位单调递增的数字，代表每一个 Leader 副本时代，存储于每一条消息。Leader Epoch Start Offset:每一个 Leader 副本时代的第一条消息的位移。 Leader Epoch Sequence File: 一个序列文件，每一个 Leader 副本时代，Leader Epoch Start Offset 的变化记录存储在改文件中。 Leader Epoch Request: follower 副本通过该请求获取 Leader 副本的第一条消息的位移，如果 Leader 副本所在分区不存在序列文件，获取的是 Leader 副本的 Log End Offset。
54 天前 / 訢亮
文章目录： 前言 如何选择？ 开发语言 延迟队列 消息顺序性 优先级队列 消息留存 消息过滤 可伸缩行 小结 推荐阅读 前言我们在工作中经常会用到异步消息，主要使用两种消息模式： 消息队列发布 / 订阅消息队列：多个生产者可以向同一个消息队列发送消息，但是一个消息只能被一个消费者消费。 发布 / 订阅：一个消息可以被多个订阅者并发的获取和处理。 Kafka 和 RabbitMQ 都能满足如上的特性，那么我们应该如何选择使用哪一个？这两个 MQ 有什么差异性？在什么样的场景下适合使用 Kafka...
77 天前 / 微观技术
大家好，我是 Tom 哥~ Kafka 作为一款开源的消息引擎，很多人并不陌生，但深入其源码的同学估计不多，除非你是中间件团队消息系统维护者。但术业有专攻，市面上那么多开源框架且每个框架又经常迭代升级，花精力深入了解每一个框架源码不太现实，本文会以业务视角罗列工作中大家需要熟知的一些知识 本篇文章的目录： 首先，为什么使用 kafka？ 削峰填谷。缓冲上下游瞬时突发流量，保护“脆弱”的下游系统不被压垮，避免引发全链路服务“雪崩”。系统解耦。发送方和接收方的松耦合，一定程度简化了开发成本，减少了系统间不必要的直接依赖。
83 天前 / 尹千觞
Springboot 引入 Reactor 已经有一段时间了，笔者潜伏在各种技术群里暗中观察发现，好像 scala 圈子的同仁们，似乎对响应式更热衷一点。也许是因为他们对 fp 理解的更深吧，所以领悟起来障碍性更少一些的原因吧。尽管 webflux 对于数据库的支持，还不那么完善，也不妨我们试上一试。 首先请允许我引用全部的反应式宣言作为开篇，接下来会介绍 webflux 整合 kafka 做一个 demo。 反应式宣言 在不同领域中深耕的组织都在不约而同地尝试发现相似的软件构建模式。希望这些系统会更健壮、更具回弹性 、更灵活，也能更好地满足现代化的需求。
89 天前 / binecy
本文分享如何使用 KRaft 部署 Kafka 集群，以及 Spring 中如何实现 Kafka 响应式交互。 KRaft 我们知道，Kafka 使用 Zookeeper 负责为 kafka 存储 broker，Consumer Group 等元数据，并使用 Zookeeper 完成 broker 选主等操作。 虽然使用 Zookeeper 简化了 Kafka 的工作，但这也使 Kafka 的部署和运维更复杂。 Kafka 2.8.0 开始移除了 Zookeeper，并使用 Kafka 內部的仲裁（Quorum）控制器來取代 ZooKeeper，官方称这个控制器为 "Kafka Raft metadata mode"，即 KRaft mode。
107 天前 / 全菜工程师小辉
如果对 Kafka 不了解的话，可以先看这篇博客《一文快速了解 Kafka》。 其余有关 Kakfa 的文章如下： 《一文理解 Kafka 的选举机制与 Rebalance 机制》 《一文理解 Kafka 重复消费的原因和解决方案》 《一文理解 Kafka 如何消息不丢失》 《一文理解如何解决 Kafka 消息积压问题》 《一文理解 Kafka 如何保证消息顺序性》 Kafka 高吞吐量的原因 kafka 高效文件存储设计特点 Kafka 把 topic 中一个 Parition 大文件分成多个小文件 segment，通过多个小文件 segment，就容易定期清除或删除已经消费完的文件，减少磁盘占用。
114 天前 / 全菜工程师小辉
Kafka 是一个高性能，高容错，多副本，可复制的分布式消息系统。在整个系统中，涉及到多处选举机制，被不少人搞混，这里总结一下，本篇文章大概会从三个方面来讲解。 控制器（Broker）选举机制 分区副本选举机制 消费组选举机制 如果对 Kafka 不了解的话，可以先看这篇博客《一文快速了解 Kafka》。 控制器选举控制器是 Kafka 的核心组件，它的主要作用是在 Zookeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一个 Broker 都能充当控制器的角色，但在运行过程中，只能有一个 Broker 成为控制器。