11 天前 / sjf0115
1. 概述 CMAK(Cluster Manager for Apache Kafka) 是由 Yahoo 开源的 Kafka 集群管理平台。我们可能听到更多的是 kafka-manager。主要是因为误用了 Apache 的商标，所以才从 kafka-manager 改名为 CMAK。 在 3.0.0.2 版本之前，kafka-manager 是不提供现成的编译包的，需要我们自己编译打包，老版本的安装可以参阅博文Kafka 监控工具之 Kafka Manager。在 3.0.0.2 版本之后我们可以直接下载编译后的 zip 包： 2. 下载 CMAK 环境要求： Kafka 0.8+ Java 11+ Zookeeper 3.5+ 官方文档中没有明确说明 ZooKeeper 的版本要求...
13 天前 / 钟子敬07
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。 思维导图讲一讲分布式消息中间件问题什么是分布式消息中间件？消息中间件的作用是什么？消息中间件的使用场景是什么？消息中间件选型？消息队列分布式消息是一种通信机制，和 RPC、HTTP、RMI 等不一样，消息中间件采用分布式中间代理的方式进行通信。
16 天前 / sjf0115
桔妹导读：时间轮是一个应用场景很广的组件，在很多高性能中间件中都有它的身影，如 Netty、Quartz、Akka，当然也包括 Kafka，本文主要介绍时间轮在 kafka 的应用和实战，从核心源码和设计的角度对时间轮进行深入的讲解 。 1. 引子从 2 个面试题说起，第一个问题：如果一台机器上有 10w 个定时任务，如何做到高效触发？ 具体场景是： 有一个 APP 实时消息通道系统，对每个用户会维护一个 APP 到服务器的 TCP 连接，用来实时收发消息，对这个 TCP 连接，有这样一个需求：“如果连续 30s 没有请求包（例如登录，消息，keepalive 包）...
23 天前 / djwang
本文作者：刘德志 腾讯专家工程师、TEG技术工程事业群和计费系统开发者 背景 Apache Pulsar 是下一代分布式消息流平台，采用计算存储分层架构，具备多租户、高一致、高性能、百万 topic、数据平滑迁移等诸多优势。越来越多的企业正在使用 Pulsar 或者尝试将 Pulsar 应用到生产环境中。 腾讯把 Pulsar 作为计费系统的消息总线来支撑千亿级在线交易。腾讯计费体量庞大，要解决的核心问题就是必须确保钱货一致。首先，保证每一笔支付交易不出现错账，做到高一致、高可靠。其次，保证计费承载的所有业务 7*24 可用，做到高可用、高性能。
31 天前 / djwang
开源流数据公司StreamNative近期宣布完成数百万美元 Pre-A 轮融资，日前正式加入 CNCF。其创始团队成员是 Apache Pulsar、Apache BookKeeper 项目的原生核心开发者，StreamNative 也被称为开源消息系统基础设施 Pulsar 背后的公司。（本文中 Pulsar、BookKeeper 分别指代Apache Pulsar、Apache BookKeeper） StreamNative 是一家基于 Pulsar 的商业公司，提供云原生的实时消息和流数据处理技术。Pulsar 是 Yahoo 内部在 2012 年为构建统一消息平台而构建的，采用分层分片的系统架构。
35 天前 / 逗逗
Q 消息队列的使用场景？A 消息队列常见的使用场景有：异步处理、应用解耦、流量消峰。 举个栗子：我们有一个订单系统。 异步处理场景：下单成功后需要短信通知客户，并且给客户加积分。 如果串行方式：客户下单写入订单成功后，向短信系统发送通知请求，成功后再向积分系统发送增加积分请求，最后再返回给客户下单成功。 如果采用异步方式：客户下单写入订单成功后写入消息队列，写入成功后即可返回给客户端。短信系统和积分系统异步读取消息队列，执行相关操作。 与串行的差别是，并行的方式可以提高处理的时间。
59 天前 / yes的练级攻略
每个时代，都不会亏待会学习的人。 大家好，我是 yes。 今天我们来谈一谈消息队列的事务消息，一说起事务相信大家都不陌生，脑海里蹦出来的就是 ACID。 通常我们理解的事务就是为了一些更新操作要么都成功，要么都失败，不会有中间状态的产生，而 ACID 是一个严格的事务实现的定义，不过在单体系统时候一般都不会严格的遵循 ACID 的约束来实现事务，更别说分布式系统了。 分布式系统往往只能妥协到最终一致性，保证数据最终的完整性和一致性，主要原因就是实力不允许。..因为可用性为王。
60 天前 / sjf0115
Apache Kafka 2.6.0 于 2020 年 08 月 03 日正式发布。在这个版本中，社区做了很多显著的性能改进，特别是当 Broker 有非常多的分区时。Broker 关闭性能得到了显著提高；当生产者使用压缩时，性能也得到了显著提高。ACL 使用的各个方面都有不同程度的提升，并且需要更少的内存。 这个版本还增加了对 Java 14 的支持。在过去的几个版本中，社区默认使用 Scala 2.13，现在社区开始推荐在生产环境中使用 Scala 2.13。 最后，这版本的成就只是 Apache Kafka 3.0 运行路线图的一部分，Apache Kafka 3.0 可能是该项目历史上最重要的版本之一。
63 天前 / yes的练级攻略
每个时代，都不会亏待会学习的人 大家好，我是 yes。 今天我们就来谈一谈消息队列的推拉模式，这也是一个面试热点，例如你在简历里面写了 RocketMQ ，基本上会问你 RocketMQ 采用的是推模式还是拉模式啊？是拉模式？不是有 PushConsumer 吗？ 今天我们就来谈谈推拉模式，并且再来看看 RocketMQ 和 Kafka 是如何做的。 推拉模式首先明确一下推拉模式到底是在讨论消息队列的哪一个步骤，一般而言我们在谈论推拉模式的时候指的是 Comsumer 和 Broker 之间的交互。
86 天前 / yes的练级攻略
点击上方「yes 的练级攻略」加个「星标」，最新文章极速到达大家好，我是 yes。 最近看 Kafka 看到了时间轮算法，记得以前看 Netty 也看到过这玩意，没太过关注。今天就来看看时间轮到底是什么东西。 为什么要用时间轮算法来实现延迟操作？ 延时操作 Java 不是提供了 Timer 么？ 还有 DelayQueue 配合线程池或者 ScheduledThreadPool 不香吗？ 我们先来简单看看 Timer、DelayQueue 和 ScheduledThreadPool 的相关实现，看看它们是如何实现延时任务的，源码之下无秘密。再来剖析下为何 Netty 和 Kafka 特意实现了时间轮来处理延迟任务。
86 天前 / 搬运工来架构
点击上方蓝色字关注我们~ 我们经常会面临这样的问题，在确定某个 topic 下应该设置多少分区数，有时并不知道应该如何设置，如何评估等。或者别人问你当前 kafka 集群中，具体的业务 topic 中分区数是多少，是如何知道需要多少分区或怎么选择比较适合的分区数。 1 结合业务场景和非业务条件 那么我们应该如何选择合适的分区数呢？ 具体的业务具体分析。 但是前期我们可以根据这些条件：实际业务场景（消息总量，消息生产或消费频率，要求的吞吐量等）、软件条件、硬件条件、负载情况等，进行大致的评估我们可以设置 topic 多少分区数。
93 天前 / yes的练级攻略
点击上方「yes 的练级攻略」加个「星标」，最新文章极速到达 大家好，我是 yes。 我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点？ 今天我们就来一探究竟。 存储介质 - 磁盘一般而言消息中间件的消息都存储在本地文件中，因为从效率来看直接放本地文件是最快的，并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话，就多一个依赖少一份安全，并且还有网络的开销。
107 天前 / yes的练级攻略
大家好，我是 yes。 这是我的第三篇 Kafka 源码分析文章，前两篇讲了日志段的读写和二分算法在 kafka 索引上的应用 今天来讲讲 Kafka Broker 端处理请求的全流程，剖析下底层的网络通信是如何实现的、Reactor 在 kafka 上的应用。 再说说社区为何在 2.3 版本将请求类型划分成两大类，又是如何实现两类请求处理的优先级。 叨叨不过在进入今天主题之前我想先叨叨几句，就源码这个事儿，不同人有不同的看法。 有些人听到源码这两个词就被吓到了，这么多代码怎么看。奔进去就像无头苍蝇，一路断点跟下来，跳来跳去，算了拜拜了您嘞。
116 天前 / 猿天地
一次机房停电引发的思考今天早上到公司的时候，接到开发反馈 DEV 环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为 kafka 集群不可用（总共 3 个 broker，前一天晚上机房停电导致 leader 节点挂了），导致网关的反爬过滤器里面发送 kafka 消息的代码 kafkaTemplat.send 阻塞了 60s，当时在想这个 send 方法不是异步的吗，为什么会阻塞 60s？于是查阅了一些资料，大致搞清楚了原因，这里稍作整理，分享给可能踩坑或者以及踩过坑的同学。
127 天前 / php-v
在一个关于消息队列的公众号里，ACK 指的是什么呢？ 对于消息队列而言就是管理消费状态：哪些消息被消费了，哪些还没有消费，已经消费的消息我就不要再消费了，没有消费的消息别给我漏掉了。 比如消息生产端发送了 20 条消息，我收到了 10 条，处理完成了其中 7 条，其中 5 条处理成功了，2 条处理失败了，还有 3 条还没开始处理，另外还有 10 条我还没收到。那么处理成功的 5 条我不要再处理了，处理失败的 2 条是什么策略？这些都是 ACK 管理所需要关心的内容。