3 天前 / lwen
这个 Kafka 的专题,我会从系统整体架构,设计到代码落地。和大家一起杠源码,学技巧,涨知识。希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 往期文章 Kafka 探险 - 架构简介 Kafka 探险 - 源码环境搭建 前言 我们说 Kafka 是一个消息队列,其实更加确切的说:是 Broker 这个核心部件。为何这么说?你会发现我们可以通过控制台、 Java 代码、 C++ 代码、甚至是 Socket 向 Broker 写入消息,只要我们遵从了 Kafka 写入消息的协议,就可以将消息发送到 Kafka 队列中。
6 天前 / lwen
这个 Kafka 的专题,我会从系统整体架构,设计到代码落地。和大家一起杠源码,学技巧,涨知识。希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 前言 在阅读源码之前,首先要做的就是搭建一套源码调试环境,这是最基本的一步,不要觉得麻烦或者简单就不去做,也许你会像我一样搭源码的过程中得到一些教训和经验。同时在后面阅读源码的过程中,很多看不懂的地方 debug 一下也许就明朗了。 记录了搭建 Kafka 源码环境的简单过程,为大家提供一个步骤参考,同时记录搭建环境中可能会遇到的问题及解决方案。
6 天前 / 美团技术团队
总第 432 篇 2021 年 第 002 篇 Kafka 在美团数据平台承担着统一的数据缓存和分发的角色,针对因 PageCache 互相污染,进而引发 PageCache 竞争导致实时作业被延迟作业影响的痛点,美团基于 SSD 自研了 Kafka 的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。Kafka 在美团数据平台的现状 Kafka 出色的 I/O 优化以及多处异步化设计,相比其他消息队列系统具有更高的吞吐,同时能够保证不错的延迟,十分适合应用在整个大数据生态中。
6 天前 / 开发者头条
大家好,我是周刊菌。 以下内容选自「码农周刊 VIP 会员」圈子,每日更新,精彩不断。 「码农周刊 VIP 会员」推出 38 周啦!感谢亲们的大力支持!第 038 期「码农周刊 VIP 会员专属邮件周报」已发送完毕,请注意查收。 告诉大家一个好消息:已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」,感谢肯定! 「码农周刊 VIP 会员」是什么? 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 码农周刊 VIP 新年特...
14 天前 / lwen
这个 Kafka 的专题,我会从系统整体架构,设计到代码落地。和大家一起杠源码,学技巧,涨知识。希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 简介 Kafka 是一种分布式的,基于发布 / 订阅的消息系统。最初被 LinkedIn 开发,并在 2011 年初开源,2012 年 10 月从 Apache 孵化器破壳而出,成为 Apache 的顶级项目。 Kafka 最初被设计的目的是 LinkedIn 流量和运维数据分析。流量数据包含 PV (Page View) , UV (Unique Visitor) ,搜索数据,详情页数据等。
31 天前 / djwang
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcast、Yahoo!、腾讯、中国电信、中国移动、BIGO、VIPKID 等。
41 天前 / sjf0115
1 MongoDB Source Connector 简介 Debezium’s MongoDB Source connector 能监听 MongoDB replica set 或者 MongoDB sharded cluster 里 document 变更事件,然后将变更事件持久化存储在 kafka topics 中,简言之,提供了 MongDB 到 Kafka 的流式数据同步方案。 Debezium MongoDB connector 是基于 MongoDB 的 oplog 去捕捉变更。由于是利用 MongoDB 的 replica set 机制,所以 connetor 只在 MongoDB 的 replica sets 或者 sharded clusters 上生效。
49 天前 / djwang
本文为《Pulsar vs Kafka - Part 2 - Adoption, Use Cases, Differentiators, and Community》中文翻译版本。原文首发于:https://streamnative.io/en/blog/tech/2020-07-22-pulsar-vs-kafka-part-2 阅读本文大约需要 12 分钟。 这是 Pulsar 与 Kafka 对比系列文章的下篇。在上篇中,我们从技术角度对比 Pulsar 和 Kafka,讨论二者在性能、架构、功能等方面的差异。在这篇中,我们通过分析研究 Pulsar 的使用案例,从商业角度对比 Pulsar 与 Kafka。 简介数据正在改变商业格局。
62 天前 / 爱笑的架构师
点击关注"爱笑的架构师" 右上角"设为星标"好文章不错过 谈到大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级 TPS 的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。 在业界已经有很多成熟的消息中间件如:RabbitMQ, RocketMQ, ActiveMQ, ZeroMQ,为什么 Kafka 在众多的敌手中依然能有一席之地,当然靠的是其强悍的吞吐量。下面带领大家来揭秘。
63 天前 / u539609
导语 | Kafka 作为一款性能优秀的消息队列,主要用于异步、削峰、解耦处理,在分布式事务中有着广泛的应用,但仍有很多开发者在运用过程中存在疑惑。文本将为大家由浅入深剖析 Kafka 基础原理以及它的消息可靠性策略,帮助大家理解这一技术知识。文章作者:张璇,腾讯应用开发工程师。 一、背景 部门的开发同学最近在开发一个活动的过程中,需要关注大量的应用后台逻辑,捕捉各种事件的触发。在设计时打算采用 Kafka 消息队列进行业务逻辑的解耦,这样活动开发和后台开发同学的工作就分离开了。
66 天前 / u553049
Pulsar 是类似于 Kafka 的一个消息中间件,是 Yahoo 开源的,可以说 Pulsar 就是针对 Kafka 的痛点而来的。 下面就说说 Kafka 都有哪些痛点,以及 Pulsar 的优质特性,当然还会说下它的不足。 1. Kafka 概述 Kafka 于 2011 年由 LinkedIn 创建,发展到现在已经成为消息系统的王者,支持了越来越多的功能,例如: Schema RegistryKafka Connect,用于对接其他数据源 Kafka Streams,用于分布式的流处理 KSQL,用于对 Topic 进行类似 SQL 的查询……Kafka 速度快、安装简单,适用于非常多的使用场景,极其流行。
70 天前 / 爱笑的架构师
点击关注"爱笑的架构师" 右上角"设为星标"好文章不错过 大型互联网公司一般都会要求消息传递最大限度的不丢失,比如用户服务给代金券服务发送一个消息,如果消息丢失会造成用户未收到应得的代金券,最终用户会投诉。为避免上面类似情况的发生,除了做好补偿措施,更应该在系设计的时候充分考虑各种异常,设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布 - 订阅消息系统。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。 Kafka 是一个分布式的,可划分的,冗余备份的持久性的日志服务。
74 天前 / 浪尖
一 磁盘读写原理 磁盘的结构图: 当需要从磁盘读取数据时,要确定读的数据在哪个磁道,哪个扇区:首先必须找到柱面,即磁头需要移动对准相应磁道,这个过程叫做寻道,所耗费时间叫做寻道时间;然后目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间;一次访盘请求(读 / 写)完成过程由三个动作组成寻道(时间):磁头移动定位到指定磁道;旋转延迟(时间):等待指定扇区从磁头下旋转经过;数据传输(时间):数据在磁盘、内存与网络之间的实际传输由于存储介质的特性,磁盘本身存取就比主存慢,再加上机械运动耗费...
82 天前 / b_aihe
原创 2020-11-01大数据 /Kafka11 分钟 读完 ( 大约 1708 个字)总访问量0 次 Kafka 浅谈、什么是 AR、OSR、ISR、HW 和 LEO 以及之间的关系 kafka 多副本 Kafka 为分区引入了多副本(Replica)机制,通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息(当然在同一时刻,副本之间可能并非完全一样),副本之间是“一主多从”的关系,其中 leader 副本负责处理读写请求,follower 副本只负责与 leader 副本的消息同步。
83 天前 / u539609
Kafka 是目前最流行的分布式消息发布订阅系统,Kafka 功能非常强大,但它同样也很复杂,需要一个高可用的强大平台来运行,在微服务盛行,大多数公司都采用分布式计算的今天,将 Kafka 作为核心的消息系统使用还是非常有优势的。 如果你在 Kubernetes 集群中运行你的微服务,那么在 Kubernetes 中运行 Kafka 集群也是很有意义的,这样可以利用其内置的弹性和高可用特性,我们可以使用内置的 Kubernetes 服务发现轻松地与集群内的 Kafka Pods 进行交互。