2 天前 / 一条老狗
点击上方蓝字“极客运维”一起运筹帷幄 上篇文章我们了解到，如果一个 topic 分区越多，理论上整个集群所能达到的吞吐量就越大。那么，分区数越多就越好吗？显然不是。今天我们来聊下 kafka 在分区数过多的情况下，会带来哪些弊端。 内存开销客户端 producer 有个参数 batch.size 默认为 16KB。它会为每个分区缓存消息，一旦批次数满了后，将消息批量发出。一般来说，这个设计是用于提升吞吐性能的。但是由于这个参数是 partition 级别的，如果分区数越多，这部分缓存所需的内存占用也会越多。
3 天前 / sjf0115
女主宣言 Kafka 作为一个支持实时处理大量请求的分布式流处理平台，需要一个设计良好的定时器来处理异步任务。本文作者将基于 Kafka 1.1.0 版本的源码来介绍 Kafka 中定时器的基础数据结构——时间轮的原理和实现。 PS：丰富的一线技术、多元化的表现形式，尽在“360 云计算”，点关注哦！ 1 简单时间轮 简单时间轮是时间任务桶的循环链表，又被称为桶（bucket）。令 u 为时间单元大小，一个大小为 n 的时间轮有 n 个桶，能够持有 n * u 个定时任务，每个任务的过期时间会落在一个时间间隔内。
7 天前 / 过往记忆大数据
目前，Apache Kafka 使用 Apache ZooKeeper 来存储它的元数据，比如分区的位置和主题的配置等数据就是存储在 ZooKeeper 集群中。在 2019 年社区提出了一个计划 [1]，以打破这种依赖关系，并将元数据管理引入 Kafka 本身。 所以 Apache Kafka 为什么要移除 Zookeeper 的依赖？Zookeeper 有什么问题？实际上，问题不在于 ZooKeeper 本身，而在于外部元数据管理的概念。 拥有两个系统会导致大量的重复。毕竟，Kafka 是一个分布式的发布 - 订阅消息系统，而 ZooKeeper 其实也是一个分布式日志系统，其上有一个文件系统 API。
7 天前 / 一条老狗
点击上方蓝字“极客运维”一起运筹帷幄 分区 (partition)概念要讲 kafka 分区数和吞吐量的关系，首先得理解什么是分区 (partition)。 Partition 是作用于具体的 Topic 而已的，而不是一个独立的概念。Partition 能水平扩展客户端的读写性能，是高吞吐量的保障。通俗的讲，Partition 就是一块保存具体数据的空间，本质就是磁盘上存放数据的文件夹，所以 Partition 是不能跨 Broker 存在的，也不能在同一个 Broker 上跨磁盘。对于一个 Topic，可以根据需要设定 Partition 的个数。
11 天前 / 大数据技术架构
前言在前面文章《Kafka 精进 | 一文读懂 Producer 消息发送机制》中，我们从 Kafka 消息结构、序列化器、分区器及消息缓冲池等方面介绍了 Producer 端的原理，回顾示意图如下： 实际使用中，Producer 端既要保证吞吐量，又要确保无消息丢失，一些核心参数的配置显得至关重要。本文我们就来看看生产端都有哪些重要的参数。生产端核心参数 1. acks 参数说明：这是一个非常重要的参数，表示指定分区中成功写入消息的副本数量，这是 Kafka 生产端消息的持久性（durability）保证。
16 天前 / 一条老狗
点击上方蓝字“极客运维”一起运筹帷幄 生产环境的 kafka 集群扩容，是一个比较常见的需求和操作。然而 kafka 在新增节点后并不会像 elasticsearch 那样感知到新节点加入后，自动将数据 reblance 到整个新集群中，因此这个过程需要我们手动分配。 分区重分配方案扩容后的数据均衡，其本质就是对 topic 进行分区重分配，数据迁移的过程。在执行分区重分配的过程中，对集群的影响主要有两点： 分区重分配主要是对 topic 数据进行 Broker 间的迁移，因此会占用集群的带宽资源；分区重分配会改变分区 Leader 所在的 Broker，因此会影响客户端。
39 天前 / 大数据技术架构
前面我们总结了 broker 端的核心参数，一些服务端原理细节后面文章再聊。本文我们重点讨论 Producer 端的消息发送机制，希望通过本文我们能整体掌握 Producer 端的原理。 1、Producer 架构一图胜千言，这里笔者画了一张 Producer 端消息发送的基本流程，如下图： 总的来说，Kafka 生产端发送数据过程涉及到序列化器 Serializer、分区器 Partitioner，消息缓存池 Accumulator，还可能会涉及到拦截器 Interceptor（这部分暂不做介绍）。由于篇幅有限这里尽量做到言简意赅。
52 天前 / ThoughtWorks
Apache Kafka 内核深度剖析 2020 年 2 月 18 日 by 白发川 Leave a Comment 摘要 目前来说市面上可以选择的消息队列非常多，像 activemq，rabbitmq，zeromq 已经被大多数人耳熟能详，特别像 activemq 早期应用在企业中的总线通信，基本作为企业级 IT 设施解决方案中不可或缺的一部分。目前来说 Kafka 已经非常稳定，并且逐步应用更加广泛，已经算不得新生事物，但是不可否认 Kafka 一枝独秀如同雨后春笋，非常耀眼，今天我们仔细分解一下 Kafka，了解一下它的内幕。以下的内容版本基于当前最新的 Kafka 稳定版本 2.4.0。
53 天前 / sjf0115
摘要：本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要内容分为以下两部分： 1.Flink-kafka-source 源码解析 流程概述 非 checkpoint 模式 offset 的提交 checkpoint 模式下 offset 的提交 指定 offset 消费 2.Flink-kafka-sink 源码解析 初始化 Task 运行 小结 Tips：Flink 中文社区征稿啦，感兴趣的同学可点击「阅读原文」了解详情～ 1.Flink-kafka-source源码解析 流程概述 一般在 Flink 中创建 kafka source 的代码如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecution...
62 天前 / 迹_Jason
Kafka Producer 是负责向 Kafka 服务发送消息的应用程序，该文不讲故事，更多偏重于原理和思考方面，对于 Kafka 没有任何了解的人，可能有点困难和枯燥。 KafkaProducerKafkaProducer 线程安全，支持多个线程共享同一个实例对象。 ProducerRecordpublic class ProducerRecord { private final String topic; private final Integer partition; private final Headers headers; private final K key; private final V value; private final Long timestamp; } timestamp 是指消息的时间戳...
84 天前 / 知了一笑
一、搭建 Kafka 环境 1、下载解压 --下载 wgethttp://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz --解压 tar-zxvfkafka_2.11-2.2.0.tgz --重命名 mvkafka_2.11-2.2.0kafka2.11 2、启动 Kafka 服务 kafka 依赖 ZooKeeper 服务，需要本地安装并启动 ZooKeeper。 参考文章：Linux 系统搭建 ZooKeeper3.4 中间件，常用命令总结 --执行位置 --/usr/local/mysoft/kafka2.11 bin/kafka-server-start.shconfig/server.properties 3、查看服务 ps-aux|grepkafka 4、开放地址端口 --基础路径 --/usr/local/mysoft/kafka2.11/config vimserver.prope...
87 天前 / 大数据技术架构
Kafka 是目前主流的分布式消息引擎及流处理平台，经常用做企业的消息总线、实时数据管道，本文挑选了 Kafka 的几个核心话题，帮助大家快速掌握 Kafka，包括： Kafka 体系架构 Kafka 消息发送机制 Kafka 副本机制 Kafka 控制器 Kafka Rebalance 机制 因为涉及内容较多，本文尽量做到深入浅出，全面的介绍 Kafka 原理及核心组件，不怕你不懂 Kafka。 1. Kafka 快速入门 Kafka 是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。
99 天前 / 大数据技术架构
前段时间有一个同事问到：Kafka 0.8.2 只能使用 Zookeeper 连接吗？虽然仍有一部分 Kafka 的老用户在使用 0.8.x 版本，但 Kafka 0.8.x 确实是比较老的版本了。如果不是对 Kafka 非常熟悉，很容易忽略各个版本之间的差异，也不会清楚某个版本的特点及使用方式。本文我们就一起学习下 Kafka 的历史版本演进，增加我们对 Kafka 的了解，对于 Kafka 的技术选型也具有指导意义。 一、Kafka 概述 Kafka 是目前主流的分布式消息引擎及流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。
118 天前 / kafeidou
阅读本文需要 5 分钟 作者：Chris Bartholomew 前段时间，我在一篇博客中提到了《选择 Pulsar 而不是 Kafka 的 7 大理由》。之后我一直在准备一份比较 Kafka 和 Pulsar 的详细报告，并一直与 Pulsar 开源项目的用户交谈，同时也与我们托管的 Pulsar 服务 —— Kafkaesque (https://kafkaesque.io/)的用户交谈。 我发现上一篇文章中我遗漏了一些原因。所以，我特地写了本篇后续，进行补充。 在补充之前，我们先来快速回顾一下上一篇文章中提到的 7 个原因： 流式处理和队列的合体。Kafka 或 RabbitMQ 在单个平台上都只能处理其中一种方式。
123 天前 / kafeidou
你应该将 kafka 运行在 kubernetes 之上吗？没有 Kubernetes，Kafka 会跑得更好吗？本文作者软件工程师 Johann Gyger 将指出 Kafka 和 Kubernetes 之间的互补性以及你可能遇到的陷阱。 译者 |姜厚俊（Java工程师） Kubernetes的设计初衷是运行无状态的工作负载。这些工作负载通常采用微服务架构的形式，属于轻量级，可水平扩展，遵循 12 要素的应用原则，可以处理环形断路和随机 Monkey 测试。 另一方面，Kafka 本质上是一个分布式数据库。这意味着你必须处理状态，它比微服务更重量级。