23 小时前 / 逗逗
阅读本文大约需要 30 分钟。 那么 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？ 只有掌握了这些， 我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。 认真读完这篇文章，我相信你会对 Kafka 如何解决丢数据问题，有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 越来越多的互联网公司使用消息队列来支撑自己的核心业务。由于是核心业务，一般都会要求消息传递过程中最大限度的做到不丢失，如果中间环节出现数据丢失，就会引来用户的投诉，年底绩效就要背锅了。
21 天前 / u277623
这是我们探索 Kafka 客户端内部结构的系列文章的第一部分。这篇文章的重点是 Kafka Producer。 Adobe Experience Platform Pipeline 是一个低延迟、基于 Kafka 的流系统。管道连接数百个 Adobe 组件和系统。我们的 Kafka 集群处理 310B msg/ 天，300 TB/ 天的 IN 和 920 TB/ 天的 OUT 流量。因此，了解 Kafka 客户端的内部结构对于能够在如此大的流量下进行扩展至关重要。 Kafka Producer 是一个向 Kafka 发布消息的客户端。 组件： 生产者元数据——管理生产者所需的元数据：集群中的主题和分区、充当分区领导者的代理节点等。
23 天前 / yybbb
是可读性很差，不想让这篇文章被埋没，五一特意花了 7 个小时重新整理。 消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用 RabbitMQ，不用 Kafka，或者 RocketMQ 呢，他给我的回答 “因为公司用的就是这个，大家都这么用”，如果你去面试，直接就被 Pass，今天这篇文章，告诉你如何回答。 这篇文章，我重点突出消息队列选型，弱化每种队列内部的实现细节，精华提炼，可读性更强！ 常用的消息队列主要这 4 种，分别为 Kafka、RabbitMQ、RocketMQ 和 ActiveMQ，主要介绍前三，不 BB...
28 天前 / Flink实战剖析
在实时数仓分层中，Kafka 是一种比较常见的中间存储层，而在分布式计算中由于硬件、软件等异常导致的任务重启是一种正常的现象，通过之前的 Kafka-Consumer 分析得知，offset 是跟随着 checkpoint 周期性的保存， 那么消息是有可能被重复消费的，而 Kafka 作为输出端并不属于整个 Flink 任务状态的一部分，重复被消费的消息会重复的输出，因此为了保证输出到 Kafka 数据的一致性，Flink 在 Kafka Sink 端的事务语义。本篇主要介绍 Kafka-Sink 的执行流程与核心设计。
40 天前 / 比百事还可乐
Apache Kafka 3.2.0 中的新功能 我很自豪地代表 Apache Kafka 社区宣布发布 Apache Kafka 3.2.0 。3.2.0 版本包含许多新功能和改进。该博客将重点介绍一些最突出的新功能。有关更改的完整列表，请务必查看发行说明。您还可以观看发布视频，了解 Apache Kafka 3.2.0 中的新功能摘要。 虽然尚不建议将 KRaft 模式用于生产，但我们已经引入了基于 KRaft 的授权器以及一些修复和改进。此外，社区正在讨论 在 Apache Kafka 3.3 中将 KRaft 模式标记为生产就绪的提案。 由于 log4j 1.x 存在已知的安全漏洞并且不再维护，我们将其替换为 reload4j。
40 天前 / 趣编程
作者：vivo 互联网服务器团队 -Luo Mingbo 一、Kafka集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣，小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服务接入Kafka集群的流程。 为了避免超大集群我们按照业务维度将整个每天负责十万亿级消息的 Kafka 集群拆分成了多个 Kafka 集群。拆分粒度太粗会导致单一集群过大，容易由于流量突变、资源隔离、限速等原因导致集群稳定性和可用性受到影响，拆分粒度太细又会因为集群太多不易维护，集群内资源较少应对突发情况的抗风险能力较弱。
40 天前 / sjf0115
点击上方“中间件兴趣圈”，选择“设为星标” 点击下面图片直达文章合集 大家好，我是威哥，《RocketMQ 技术内幕》作者、RocketMQ 社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。 最近公司日志 Kafka 集群出现了性能瓶颈，单节点还没达到 60W/tps 时消息发送就出现了很大延迟，甚至最高超过了 10s，截图说明如下： 虽说使用的机械磁盘，但这点压力对 Kafka 来说应该是小菜一碟，这引起了我的警觉，需要对其进行一番诊断了。
40 天前 / 逗逗
本篇文章通过场景驱动的方式来深度剖析 Kafka 生产级容量评估方案如何分析，申请和实施。 一、kafka 容量评估需求场景分析 1、集群如何每天 hold 住 10 亿 + 请求 拿电商平台为例，kafka 集群每天需要承载 10 亿 + 请求流量数据，一天 24 小时，对于平台来说，晚上 12 点到凌晨 8 点这 8 个小时几乎没多少数据涌入的。这里我们使用「二八法则」来进行预估，也就是 80% 的数据（8 亿）会在剩余的 16 个小时涌入，且 8 亿中的 80% 的数据（约 6.4 亿）会在这 16 个小时的 20% 时间 （约 3 小时）涌入。
49 天前 / 逗逗
一、概述 Apache Kafka 发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得 Apache Kafka 功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。 Apache Kafka 作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来聊一聊基于 Kafka 的实时数仓在搜索的实践应用。 二、为什么需要 Kafka 在设计大数据技术架构之前，通常会做一些技术调研。
60 天前 / 逗逗
1.什么是消息中间件？ 2.kafka 是什么？有什么作用？ 3.kafka 的架构是怎么样的？ 4.Kafka Replicas 是怎么管理的？ 5.如何确定当前能读到哪一条消息？ 6.生产者发送消息有哪些模式？ 7.发送消息的分区策略有哪些？ 8.Kafka 支持读写分离吗？为什么？ 9.那 Kafka 是怎么去实现负载均衡的？ 10.Kafka 的负责均衡会有什么问题呢？ 11.Kafka 的可靠性是怎么保证的？ 12.Kafka 的消息消费方式有哪些？ 13.分区再分配是做什么的？解决了什么问题？ 14.副本 leader 是怎么选举的？ 15.分区数越多越好吗？吞吐量就会越高吗？ 16.如何增强消费者的消费能力？ 17.消...
61 天前 / Flink实战剖析
Flink-Kafka Connector 是连接 kafka 的连接器，负责对接 kafka 的读写， 本篇主要介绍 kafka consumer 的执行流程与核心设计。 逻辑执行流程 分配当前 task 消费的 partition 与起始的 offset : 根据从状态中恢复的数据与客户端指定的消费模式， 采取的方式是状态中 offset 优先， 即从状态中能够找到对应的 offset 就使用该 offset , 否则就根据客户端指定的方式从 kafka 中不断拉取数据， 发送到下游，并且保存当前的 offset 为了保证整个任务的全局一致性，需要将 offset 提交到状态中 如果开启了分区发现模式...
66 天前 / sjf0115
本文翻译自 StreamNative 博客《Offset Implementation in Kafka-on-Pulsar》，作者 StreamNative 工程师徐昀泽，Apache Pulsar Committer，KoP maintainer。 协议处理器 [1]是 2020 年一月份发布的 Pulsar 2.5.0 所引入的新功能，目的是将 Pulsar 的能力扩展到其他消息领域。默认情况下 Pulsar Broker 仅支持 Pulsar 协议。而通过协议处理器，Pulsar Broker 就可以支持其他消息协议，包括 Kafka、AMQP 以及 MQTT（现已新增 RocketMQ）。这使得 Pulsar 可以与基于其他消息技术的应用进行交互，从而扩展 Pulsar 生态系统。
71 天前 / 趣编程
作者：kylequ，腾讯 PCG 数据工程师 kafka3.0 的版本已经试推行去 zk 的 kafka 架构了，如果去掉了 zk，那么在 kafka 新的版本当中使用什么技术来代替了 zk 的位置呢，接下来我们一起来一探究竟，了解 kafka 的内置共识机制和 raft 算法。 1、Kafka 简介 Kafka 是一款开源的消息引擎系统。一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如上图所示。其中 ZooKeeper 是 Kafka 用来负责集群元数据的管理、控制器的选举等操作的。
74 天前 / reesunhuang
从这篇文章你将了解到什么？Kafka 的 topic 为什么要分区。 消费者组的作用。 Kafka 分区分配。 大家好，我是「码哥」 “Kafka 是一个分布式、支持分区的（partition）、多副本的（replica），基于 zookeeper 协调的分布式消息系统。” 看着这一句句对 Kafka 的介绍，以及这张架构图， 突然感觉眼前一阵恍惚。..... 在睁眼的瞬间， 画风居然变成了植物大战僵尸的样子！!! 下面我们来说道说道这有趣的场景： 我们熟悉的消息生产者——自然就是植物大战僵尸中可以生成粮食的植物了。 比如生产者豌豆射手： 他可以发送出普通豌豆（消息）。
91 天前 / reesunhuang
今天我们就来安排一期关于 Kafka 的核心面试题连环炮， 从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。 这篇文章干货很多，希望你可以耐心读完。 02kafka 进阶提升 10 问谈谈你对 kafka 的集群架构是如何理解的？01 Kafka 整体架构图 一个典型的 Kafka 集群中包含若干 Producer，若干 Broker「Kafka 支持水平扩展，一般 Broker 数量越多，集群吞吐率越高」，若干 Consumer Group，以及一个 Zookeeper 集群。