14 天前 / u128287
点击上方“马蜂窝技术”，关注订阅更多优质内容 Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。 Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。 Part.1 应用场景 从 Kafka 在大数据平台的应用场景来看，主要分为以下三类： 第一......
31 天前 / u553049
本文介绍了 Kafka Topic 的体系结构，并讨论了如何使用分区进行故障转移和并行处理。 1. Kafka Topic, Log, PartitionKafka Topic（主题） 是一个有名字的记录流，Kafka 把 Record（记录）存储在 log 日志文件中。 一个主题被分解为多个 Partition（分区）。 Kafka 把 log 的多个分区分散到多个服务器中。 把一个 Topic 分解为多个分区，是为了速度、扩展性、存储量。 Topic 是天生的发布/订阅类型的消息传递方式，一个 Topic 可以有 0 个或者多个订阅者（consumer group 消费者组）。 Kafka Topic Partitions一个 Topic 包含多个 Partition......
31 天前 / HueiFeng
本文根据严锁鹏老师在〖2019 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整PPT） 讲师介绍 严锁鹏，奇虎360大数据架构运维专家，具有10年基础架构与大数据开发经验。2013年加入360商业化团队，负责消息中间件开发与运维，同时涉及大数据架构、微服务架构、实时计算平台、机器学习平台、监控系统等基础设施建设，致力于为商业化团队提供稳定高效的基础服务。 大家好，我是来自360商业化的严锁鹏，今天我会向大家分享如下内容： 分享概要 1、消息队列选型 2、Kafka在360商业化......
32 天前 / 东溪陈姓少年
kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值，然后重新进行消费。 首先创建kafka消费服务@Service@Slf4j//实现CommandLineRunner接口，在springboot启动时自动运行其run方法。public class TspLogbookAnalysisService implements CommandLineRunner {@Overridepublic void run(String... args) {//do something}}kafka消费模型建立kafka ......
39 天前 / u553049
zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。 而且，这也是面试时经常问的。 zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper 的作用。 1. broker状态zookeeper 记录了所有 broker 的存活状态，broker 会向 zookeeper 发送心跳请求来上报自己的状态。 zookeeper 维护了一个正在运行并且属于集群的 broker 列表。 控制器选举kafka 集群中有多个 broker，其中有一个会被选举为控制器。 控制器负责管理整个集群所有分区和副本的......
52 天前 / 公众号「后端进阶」
上周客串了一下面试官，在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目，这些都是我平时在学习 Kafka 的一些总结要点。 谈谈你对 kafka 的整体认识？问这个问题主要是想知道面试者对 Kafka 的整体认识如何，能够大致了解面试者对 Kafka 的相关概念的熟悉程度，比如消息、topic、partition、replica、offset、重平衡、leader/follower、ISR 等等。 谈谈 Kafka 吞吐量为何如此高？多分区、batch send、kafka Reator 网络模型、pagecache、sendfile 零拷贝、数据压缩。 谈谈你对生产者储水池机制的理解sender 线程工作机制、ByteBuffe......
60 天前 / 公众号「后端进阶」
ISR（in-sync replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。一条 Kafka 消息，只有被 ISR 中的副本都接收到，才被视为“已同步”状态。这跟 zk 的同步机制不一样，zk 只需要超过半数节点写入，就可被视为已写入成功。 follwer 副本与 leader 副本之间的数据同步流程如下： 从上图可看出，leader 的 remote LEO 的值相对于 follower LEO 值，滞后一个 follower RPC 请......
65 天前 / openio
点击蓝色“Java极客技术”关注我哟 加个“星标”，一起快乐成长 这是 Java 极客技术的第252篇原创文章上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过消息这个词的，这也是 Kafka 最最核心的内容，Kafka 的消息从哪里来？到哪里去？都干什么了？别着急，一步一步来，先说说 Kafka 的消息从哪来。 生产者概述在 Kafka 中......
71 天前 / 孤独键客
点击上方"程序员的成长之路"，选择"置顶或星标"你关注就是我关心的！「 预计阅读 6分钟 」旁白：这是一篇拖更了N久的文章...0.0（看不见我~） 往期回顾 前端框架 jQuery 和 Vue 如何选择？ 安全框架 Shiro 和 Spring Security 如何选择？ 正文 消息队列（MQ） 在百度百科中，消息队列（MQ）是这么解释的：“消息队列”是在消息的传输过程中保存消息的容器（可存可取）。 它是分布式系统中重要的组件，使用消息队列主要是为了通过异步处理提高系统性能和削峰和降低系统耦合性。 异步处理：多应用对消息队列中同一消息进行处理，应用间并......
72 天前 / Joinncat
Kafka是一种高吞吐量的分布式流处理平台，它具有高可用、高吞吐量、速度快、易扩展等特性。本篇将介绍如何使用Spring Boot整合Kafka及使用Kafka实现简单的消息发送和消费，主要包括以下3部分内容： Kafka 整合Kafka 小结 Kafka Kafka是Apache组织下的一个分布式流处理平台，它具有以下三个功能特性: 作为消息系统，发布和订阅流式的记录，这个与消息队列或者企业消息系统类似。 作为存储系统，储存流式的记录，并且有较好的容错性。 作为流处理，在流式记录产生时就进行实时处理。 Kafka可用于构建以下两大类别的应用: 构造实时......
74 天前 / 公众号「后端进阶」
高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就在于任何系统都不能保证其稳定运行，当 leader 副本所在的 broker 崩溃之后，其中一个 follower 副本就会成为该分区下新的 leader 副本，那么问题来了，在选为新的 leader 副本时，会导致消息丢失......
76 天前 / 公众号「后端进阶」
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中花费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整个集群的性能影响等，特此将这个过程总结一下，也为双十一打了一剂强心剂。 排查问题与分析接到用户的反馈后，我用脚本测试了一遍，并对比了另外一个正常的 Kafka 集群，发现耗时确实很高，接下来 经过排查，发现有客户端在频繁断......
81 天前 / 阿甘_paul
点击上方蓝字关注~ 最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下： val kafkaProducer: FlinkKafkaProducer011[String] = new FlinkKafkaProducer011[String]( sinkTopic, new StringKeyedSerializationSchema,producerConfig, sinkSemantic) ds.addSink(kafkaProducer).setParallelism(sinkParallelism) 其中StringKeyedSerializationSchema是自定义的实现KeyedSerializationSchema的序列化器，用于序列化写入kafka的key/value, 任务也上线了，在flink web页面看到任务各项指标一切正常，也测试消费写入kaf......
89 天前 / Linx___
从KafkaConsumer看看Kafka（一）Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于kafka 2.4； Kafka消费模型关键点：1、Kafka一个消费组（ConsumerGroup）中存在一个或多个消费者（Consumer），每个消费者也必须属于一个消费者组； 2、消费者组（ConsumerGroup）中的消费者（Consumer）独占一个或多个分区（Partition）； 3、消费时每......
97 天前 / 公众号「后端进阶」
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配分区再进行消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下： 从图中可以找到消费组模型的几个概念： 1.同一个消费组，一个分区只能被一个消费者订阅消费，但一个消费者可订阅多个分区，也即是每条消息只会被同一个消费组的某一个消费者消费，确保不......