15 小时前 / sjf0115
作者 | Lu Zhang、Chukwudiuto Malife 译者 | Sambodhi 策划 | 闫园园 在 Twitter 上，我们每天都要实时处理大约 4000 亿个事件，生成 PB 级的数据。我们使用的数据的事件源多种多样，来自不同的平台和存储系统，例如 Hadoop、Vertica、Manhattan 分布式数据库、Kafka、Twitter Eventbus、GCS、BigQuery 和 PubSub。 为了处理这些源和平台中的这些类型的数据，Twitter 数据平台团队已经构建了内部工具，如用于批处理的 Scalding，用于流的 Heron，用于批处理和实时处理的名为 TimeSeries AggregatoR（TSAR）的集成框架...
15 小时前 / 编程一生
背景 这是我们团队负责的一个不太核心的服务。之前与外部交互时应外部要求由普通 kafka 集群改成加密 kafka 集群。我们是数据生产端。 改的过程中并跑上线，60% 的请求耗时增加了 2 倍，也还是在百毫秒的量级可以接受。但是每次重启的第一个请求要 5s 以上，会超过；运行过程中，一两个月也会有一次超时。因为我们有三次重试，整体没有影响成功率。 上线的时候我们问过网络组，还专门请教过公司专业负责 kafka 的团队。结论是：第一，这个慢是外部交互方的问题，不是咱们这边可以处理的；第二，参数上也没有什么可以调优的。
2 天前 / 逗逗
作者：石臻臻来源：石臻臻的杂货铺 全文共 5040 个字，建议 13 分钟阅读 大家好，我是一哥，今天给大家分享一个「kafka 专栏」 在讲解Kafka 的副本同步限流机制三部曲 ( 源码篇)第二篇 ( 原理篇) 之前 我想先讲解一下Kafka 中的数据采集和统计机制当你了解这个机制之后才会更容易理解限流机制 你会不会好奇，kafka 监控中，那些数据都是怎么计算出来的 比如下图这些指标 LogiKM 监控图这些数据都是通过 Jmx 获取的 kafka 监控指标， 那么我们今天来探讨一下，这些指标都是怎么被计算出来的 在开始分析之前...
6 天前 / sjf0115
导语|在信息流场景，内容的请求处理、原子模块调度、结果的分发等至关重要，将会直接影响到内容的外显、推荐、排序等。基于消息 100% 成功的要求，我对 Pulsar 进行了调研，并采用 Pulsar 实现消息的可靠处理。本文主要参考 Pulsar 的官方文档和技术文章，对 Pulsar 的特性、机制、原理等进行整理总结。 一、Pulsar 概述 Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制...
12 天前 / sjf0115
简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放：https://developer.aliyun.com/live/2894 一、背景介绍 （一）流平台通用框架 目前流平台通用的架构一般来说包括消息队列、计算引擎和存储三部分，通用架构如下图所示。客户端或者 web 的 log 日志会被采集到消息队列；计算引擎实时计算消息队列的数据；实时计算结果以 Append 或者 Update 的形式存放到实时存储系统中去。
13 天前 / BloomingRose
点击上方“中间件兴趣圈”，选择“设为星标” 越努力越幸运，唯有坚持不懈！ 以前我在知其然而知其所以然，为什么 Kafka 在 2.8 版本中会“抛弃”Zookeeper 一文中阐述了为什么官方要废弃 Zookeeper，当时我记得有读者反驳说 zookeeper 非常稳定，基本不会出现什么问题，笔者在双十一期间遇到的问题，就证明了 Zookeeper 的“脆弱性”，而 zookeeper 的脆弱性将对 Kafka 集群造成严重的影响。 1、故障现象笔者在双十一期间负责的 kafka 集群的响应时间飙升到了 10～30s，严重影响消息的写入。
21 天前 / sjf0115
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。 1.Flink Kafka 的使用 在 Flink 中使用 Kafka Connector 时需要依赖 Kafka 的版本，Flink 针对不同的 Kafka 版本提供了对应的 Connector 实现。
26 天前 / sjf0115
导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报警服务同样非常的重要。（编辑：中间件小 Q 妹） 01 前言 对于小业务量的业务，往往多个业务共享 kafka 集群，随着业务规模的增长需要不停的增加 topic 或者是在原 topic 的基础上扩容 partition 数，另外一些后来大体量的业务在试水阶段也可能不会部署独立的集群，当业务规模爆发时，需要迅速扩容扩容集群节点。
28 天前 / 浪客书心
相信使用过 Kafka 的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。 那么 Kafka Broker 端网络架构和请求处理到底是使用了哪些高大上的技术？它到底解决了什么问题？究竟是怎么解决的？ 只有了解了这些， 我们才能深刻掌握 Kafka 服务端设计精髓所在，更加深刻理解一个高并发、高性能服务端架构该如何设计。 认真读完这篇文章，我相信你会对 Kafka Broker 请求处理流程和网络架构设计实现细节，有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。
33 天前 / 随手记生活Gordon
我们知道要想使用Kafka，其实最开始就是要创建一个Producer来往其中写消息，可以称之为消息源头吧，没有Producer来写，也就谈不上后面的consumer读了。 写消息粗听起来很简单，但是我们仔细思考一下这里就有很多问题需要确认。比如你的应用可以接受某些消息没有成功写进去吗？或者能够接受有重复的消息被写入吗？亦或是你的应用对写入的速度和延时有要求吗？ 各种应用显然对我上面提到的问题有不同的答案，比如说一个log系统，丢一条或者少一条数据并不重要，延时一个几十秒甚至几分钟也不是什么大的问题。
55 天前 / BloomingRose
采用何种线程交互模型，如何高效率的提高网络处理能力是面向网络编程中一个非常重要的议题。 深入研究 Kafka Broker 服务端线程模型也是理解 Kafka 工作机制必备不可少的一环。 本文的探讨主要分成如下三个部分： 网络相关配置参数 图解线程模型工作机制 对 Kafka 线程模型的一点思考 1、网络相关的配置参数 Kafka Broker 端与网络相关的线程主要被分成 network、IO 两类线程，与之对应的是 Kafka 分别提供了两个参数用来设置其线程个数，分别如下： num.network.threads 网络线程的个数，默认值为 3。num.io.threadsIO 线程的个数，默认值为 8。
58 天前 / BloomingRose
点击上方“中间件兴趣圈”，选择“设为星标” 越努力越幸运，唯有坚持不懈！ Broker 端与客户端的心跳在 Kafka 中非常的重要，因为一旦在一个心跳过期周期内 ( 默认 10s)，Broker 端的消费组组协调器 (GroupCoordinator)会把消费者从消费组中移除，从而触发重平衡。在 2.4.x 以下其版本中，消费组一旦进入重平衡状态，该消费组内所有消费者全部暂停消费，直到重平衡完成。 本文将来探讨 Kafka 的心跳机制的具体实现。
64 天前 / 逗逗
关注并标星3 分钟秒懂大数据 每天 1 次，打卡阅读 获取流计算、大数据技术和面经 大家好，我是土哥。 周末用了整整两天时间，整理了一下 Kafka 面试的连环问题，保证你看完后，对 Kafka 有了更深层次的了解。 全文总结的 Kafka 题目之间的 关联性 很强，本文将通过 问答 + 图解 的形式 由浅入深 帮助大家进一步学习和理解 Kafka 分布式流式处理平台。 全文总计 1.2 万字、28 个知识点。35 张原理、流程图。
72 天前 / hivefans东杰
本文目录： 一、消息队列 Apache Pulsar Pulsar 与 Kafka 对比 二、Kafka 基础 三、Kafka 架构及组件 四、Kafka 集群操作 五、Kafka 的 JavaAPI 操作 六、Kafka 中的数据不丢失机制 七、Kafka 配置文件说明 八、CAP 理论 九、Kafka 中的 CAP 机制 十、Kafka 监控及运维 十一、Kafka 大厂面试题 Kafka 涉及的知识点如下图所示，本文将逐一讲解： 本文档参考了关于 Kafka 的官网及其他众多资料整理而成，为了整洁的排版及舒适的阅读，对于模糊不清晰的图片及黑白图片进行重新绘制成了高清彩图。