3 天前 / lwen
这个 Kafka 的专题，我会从系统整体架构，设计到代码落地。和大家一起杠源码，学技巧，涨知识。希望大家持续关注一起见证成长！ 我相信：技术的道路，十年如一日！十年磨一剑！ 往期文章 Kafka 探险 - 架构简介 Kafka 探险 - 源码环境搭建 前言 我们说 Kafka 是一个消息队列，其实更加确切的说：是 Broker 这个核心部件。为何这么说？你会发现我们可以通过控制台、 Java 代码、 C++ 代码、甚至是 Socket 向 Broker 写入消息，只要我们遵从了 Kafka 写入消息的协议，就可以将消息发送到 Kafka 队列中。
6 天前 / lwen
这个 Kafka 的专题，我会从系统整体架构，设计到代码落地。和大家一起杠源码，学技巧，涨知识。希望大家持续关注一起见证成长！ 我相信：技术的道路，十年如一日！十年磨一剑！ 前言 在阅读源码之前，首先要做的就是搭建一套源码调试环境，这是最基本的一步，不要觉得麻烦或者简单就不去做，也许你会像我一样搭源码的过程中得到一些教训和经验。同时在后面阅读源码的过程中，很多看不懂的地方 debug 一下也许就明朗了。 记录了搭建 Kafka 源码环境的简单过程，为大家提供一个步骤参考，同时记录搭建环境中可能会遇到的问题及解决方案。
6 天前 / 美团技术团队
总第 432 篇 2021 年 第 002 篇 Kafka 在美团数据平台承担着统一的数据缓存和分发的角色，针对因 PageCache 互相污染，进而引发 PageCache 竞争导致实时作业被延迟作业影响的痛点，美团基于 SSD 自研了 Kafka 的应用层缓存架构。本文主要介绍了该架构的设计与实现，主要包括方案选型，与其他备选方案的比较以及方案的核心思考点等，最后介绍该方案与其他备选方案的性能对比。Kafka 在美团数据平台的现状 Kafka 出色的 I/O 优化以及多处异步化设计，相比其他消息队列系统具有更高的吞吐，同时能够保证不错的延迟，十分适合应用在整个大数据生态中。
6 天前 / 开发者头条
大家好，我是周刊菌。 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」推出 38 周啦！感谢亲们的大力支持！第 038 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。 告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 「码农周刊 VIP 会员」是什么？ 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 码农周刊 VIP 新年特...
14 天前 / lwen
这个 Kafka 的专题，我会从系统整体架构，设计到代码落地。和大家一起杠源码，学技巧，涨知识。希望大家持续关注一起见证成长！ 我相信：技术的道路，十年如一日！十年磨一剑！ 简介 Kafka 是一种分布式的，基于发布 / 订阅的消息系统。最初被 LinkedIn 开发，并在 2011 年初开源，2012 年 10 月从 Apache 孵化器破壳而出，成为 Apache 的顶级项目。 Kafka 最初被设计的目的是 LinkedIn 流量和运维数据分析。流量数据包含 PV (Page View) , UV (Unique Visitor) ,搜索数据，详情页数据等。
31 天前 / djwang
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar，案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业，如美国有线电视网络巨头 Comcast、Yahoo！、腾讯、中国电信、中国移动、BIGO、VIPKID 等。
41 天前 / sjf0115
1 MongoDB Source Connector 简介 Debezium’s MongoDB Source connector 能监听 MongoDB replica set 或者 MongoDB sharded cluster 里 document 变更事件，然后将变更事件持久化存储在 kafka topics 中，简言之，提供了 MongDB 到 Kafka 的流式数据同步方案。 Debezium MongoDB connector 是基于 MongoDB 的 oplog 去捕捉变更。由于是利用 MongoDB 的 replica set 机制，所以 connetor 只在 MongoDB 的 replica sets 或者 sharded clusters 上生效。
49 天前 / djwang
本文为《Pulsar vs Kafka - Part 2 - Adoption, Use Cases, Differentiators, and Community》中文翻译版本。原文首发于：https://streamnative.io/en/blog/tech/2020-07-22-pulsar-vs-kafka-part-2 阅读本文大约需要 12 分钟。 这是 Pulsar 与 Kafka 对比系列文章的下篇。在上篇中，我们从技术角度对比 Pulsar 和 Kafka，讨论二者在性能、架构、功能等方面的差异。在这篇中，我们通过分析研究 Pulsar 的使用案例，从商业角度对比 Pulsar 与 Kafka。 简介数据正在改变商业格局。
62 天前 / 爱笑的架构师
点击关注"爱笑的架构师" 右上角"设为星标"好文章不错过 谈到大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级 TPS 的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。 在业界已经有很多成熟的消息中间件如：RabbitMQ, RocketMQ, ActiveMQ, ZeroMQ，为什么 Kafka 在众多的敌手中依然能有一席之地，当然靠的是其强悍的吞吐量。下面带领大家来揭秘。
63 天前 / u539609
导语 | Kafka 作为一款性能优秀的消息队列，主要用于异步、削峰、解耦处理，在分布式事务中有着广泛的应用，但仍有很多开发者在运用过程中存在疑惑。文本将为大家由浅入深剖析 Kafka 基础原理以及它的消息可靠性策略，帮助大家理解这一技术知识。文章作者：张璇，腾讯应用开发工程师。 一、背景 部门的开发同学最近在开发一个活动的过程中，需要关注大量的应用后台逻辑，捕捉各种事件的触发。在设计时打算采用 Kafka 消息队列进行业务逻辑的解耦，这样活动开发和后台开发同学的工作就分离开了。
66 天前 / u553049
Pulsar 是类似于 Kafka 的一个消息中间件，是 Yahoo 开源的，可以说 Pulsar 就是针对 Kafka 的痛点而来的。 下面就说说 Kafka 都有哪些痛点，以及 Pulsar 的优质特性，当然还会说下它的不足。 1. Kafka 概述 Kafka 于 2011 年由 LinkedIn 创建，发展到现在已经成为消息系统的王者，支持了越来越多的功能，例如： Schema RegistryKafka Connect，用于对接其他数据源 Kafka Streams，用于分布式的流处理 KSQL，用于对 Topic 进行类似 SQL 的查询……Kafka 速度快、安装简单，适用于非常多的使用场景，极其流行。
70 天前 / 爱笑的架构师
点击关注"爱笑的架构师" 右上角"设为星标"好文章不错过 大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布 - 订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。 Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。
74 天前 / 浪尖
一 磁盘读写原理 磁盘的结构图： 当需要从磁盘读取数据时，要确定读的数据在哪个磁道，哪个扇区：首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间；然后目标扇区旋转到磁头下，这个过程耗费的时间叫做旋转时间；一次访盘请求（读 / 写）完成过程由三个动作组成寻道（时间）：磁头移动定位到指定磁道；旋转延迟（时间）：等待指定扇区从磁头下旋转经过；数据传输（时间）：数据在磁盘、内存与网络之间的实际传输由于存储介质的特性，磁盘本身存取就比主存慢，再加上机械运动耗费...
82 天前 / b_aihe
原创 2020-11-01大数据 /Kafka11 分钟 读完 ( 大约 1708 个字)总访问量0 次 Kafka 浅谈、什么是 AR、OSR、ISR、HW 和 LEO 以及之间的关系 kafka 多副本 Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（当然在同一时刻，副本之间可能并非完全一样），副本之间是“一主多从”的关系，其中 leader 副本负责处理读写请求，follower 副本只负责与 leader 副本的消息同步。
83 天前 / u539609
Kafka 是目前最流行的分布式消息发布订阅系统，Kafka 功能非常强大，但它同样也很复杂，需要一个高可用的强大平台来运行，在微服务盛行，大多数公司都采用分布式计算的今天，将 Kafka 作为核心的消息系统使用还是非常有优势的。 如果你在 Kubernetes 集群中运行你的微服务，那么在 Kubernetes 中运行 Kafka 集群也是很有意义的，这样可以利用其内置的弹性和高可用特性，我们可以使用内置的 Kubernetes 服务发现轻松地与集群内的 Kafka Pods 进行交互。