2 天前 / IT一刻钟
序在很久很久以前，人们之间的通信方式就是面对面交谈，你说一句，我听一句，虽然简单可靠，但是弊端也很大。 比如，当你成为一个军队的首领，每个属下一有情况就立刻向你汇报，一个还好，但当你的属下有几十个几百个的时候，他们每天不分时间不看场合，都在叽叽喳喳和你汇报情况，那你可能什么都听不到，而且脑袋都要炸掉了。这个时候，你说停，都给我停下，要汇报情况的，去门口排队，一个一个的来，这个就叫做流量削峰，一群人不要一拥而上，都乖乖给我排队去。 然后你就一个接一个的听，听了整整24个小时，实在困的不行，寻思着这样不......
5 天前 / 半栈工程师
写文章RocketMQ源码分析之ConsumeQueue汪先生1100101111000005 人赞同了该文章一：前言上周末写了两篇文章讲到服务端Broker在收到消息后是如何存储消息的： 《RocketMQ源码分析之消息存储》 《RocketMQ源码分析之消息刷盘》 但是除了负责存储消息之外，Broker还要负责创建消费队列。关于消费队列，其实在讲消息发送的时候《RocketMQ源码分析之消息发送》，我就画过一张简单的图。 每个 Topic 在Broker 端都会有多个消费队列，Producer每次都会选择一个ComsumeQueue发送消息，Consumer同样也会每次都选择一个ComsumeQueue拉取消息进行消费。......
8 天前 / 半栈工程师
首发于半栈工程师写文章RocketMQ源码分析之消息刷盘汪先生1100101111000003 人赞同了该文章一：前言在上篇文章《RocketMQ源码分析之消息存储》中，我们分析了消息是如何从 Broker 最终存储到MappedFile 内存缓冲区中的，但是此时消息存储的任务并没有完成，因为消息还没有刷盘，即存储到文件中，本篇我们就来看看RocketMQ是如何进行消息刷盘的。 二：刷盘策略CommitLog在初始化的时候，会根据配置，启动两种不同的刷盘服务。 if (FlushDiskType.SYNC_FLUSH == defaultMessageStore.getMessageStoreConfig().getFlushDiskType()) {this.flushCommi......
10 天前 / 半栈工程师
首发于半栈工程师写文章RocketMQ源码分析之消息存储汪先生1100101111000009 人赞同了该文章一：前言上周末写了一篇文章《RocketMQ源码分析之消息发送》，讲解了消息是如何从生产者发送出去的，掐指一算，这条消息已经在Broker堆积了近一个礼拜，是时候该讲讲服务端是如何进行消息存储的了。 二：存储设计试想一下，如果让你来设计消息的存储，你会如何设计呢？ 首先我们肯定需要有块内存缓冲区，用来接收消息但是内存毕竟有限，当消息大量堆积的时候，全放在内存肯定是不合适的，所以我们肯定需要将消息从内存写到文件中。如果所有消息全都存放到......
73 天前 / 忄落北
阿里妹导读：近年来，随着微服务架构的流行，分布式消息引擎在物联网、分布式事务、实时计算和大规模缓存同步等场景中的应用日益增多。 本文将分享微众银行基于RocketMQ构建消息服务平台的实践，通过添加诸多高级特性来解决消息收发过程中遇到的各种问题。你将了解到：金融行业服务架构的演进历程、微众银行的消息服务架构以及基于RocketMQ定制的消息高级特性。 银行应用架构的演进历史 不管是银行的系统还是其他一些传统企业的系统，他们在最早的时候都使用到了服务总线，即ESB或者某种形式存在于SOA架构中，目的是把所有的服务......
99 天前 / SnoWalker
上文中，我们讲解了可靠消息最终一致性的实现原理及如何基于一款开源的消息中间件，实现一个可靠消息服务的思路。 本文，我们讲解如何利用开源消息中间件RocketMQ的特性–事务消息，实现基于消息一致性的最终一致的分布式事务。 RocketMQ是阿里巴巴开源的一款高性能、高可靠的消息中间件，经历过双11等大流量高并发的大考，是国内开源界的翘楚，在业界有着广泛的应用。 我假设你对RocketMQ有着一定的了解，就不对它的基础概念及使用做进一步的展开，如果需要，请参考官方文档做进一步的学习了解RocketMQ官网。 按照我们的套路，先上图。 原......
112 天前 / 匠心零度
1说明最近由于测试环境机器老化，导致测试环境rocketmq集群有台机器关机了（那台机器有一个namesrv、一个master、一个另外的slave），后来起来了，运维告诉我们那台集群可能随时要坏，建议把里面的东西迁移，后来商量给了一台新的测试环境，第一次迁移rocketmq，想的简单了，导致了这次rocketmq错误迁移导致问题排查。记录下来，以后真实迁移不会出现这类问题了，也给大家一个参考吧。 2问题原因由于操作的时候仅仅复制了rocketmq的部署包，但是配置文件位置并不在rocketmq部署包里面，所以导致下面出现的一些问题。 配置类似这样的，路径......
136 天前 / sjf0115
本文整理自滴滴出行消息队列负责人 江海挺 在Apache RocketMQ开发者沙龙北京站的分享。通过本文，您将了解到滴滴出行：1. 在消息队列技术选型方面的思考；2. 为什么选择 RocketMQ 作为出行业务的消息队列解决方案；3. 如何构建自己的消息队列服务；4. 在 RocketMQ 上的扩展改造实践；5. 在 RocketMQ 上的实践经验。江海挺...
236 天前 / 匠心零度
说明 周五的时候发了篇：Rocketmq4.3支持事务啦！！！，趁着周末的时候把相关内容看了下，下面的主要内容就是关于RocketMQ事务相关内容介绍了。说明：今天这篇仅仅是入门介绍，并没有涉及到很多细节，先把大概流程说明白，后续再具体细节进行开篇说明。主题 引出分布式事务相关内容。 RocketMQ事务消息。 RocketMQ事务消息如何使用。 Rocke...
264 天前 / 務急不僅
前言： 本文作者张天，节选自笔者与其合著的《Spring Cloud微服务架构进阶》，即将在八月出版问世。本文将其中Spring Cloud Stream应用与自定义Rocketmq Binder的内容抽取出来，主要介绍实现Spring Cloud Stream 的RocketMQ绑定器。Stream的Binder机制在上一篇中，介绍了Spring Clou...
271 天前 / 匠心零度
匠心零度 转载请注明原创出处，谢谢！RocketMQ网络部署图 NameServer：在系统中是做命名服务，更新和发现 broker服务。 Broker-Master：broker 消息主机服务器。 Broker-Slave： broker 消息从机服务器。 Producer： 消息生产者。 Consumer： 消息消费者。 说明： rocketmq系列都...
273 天前 / 務急不僅
前言： 本文作者张天，节选自笔者与其合著的《Spring Cloud微服务架构进阶》，即将在八月出版问世。本文将其中Spring Cloud Stream应用与自定义Rocketmq Binder的内容抽取出来，主要介绍Spring Cloud Stream的相关概念，并概述相关的编程模型。概述Spring Cloud Stream 简介Spring Clo...
276 天前 / 匠心零度
匠心零度 转载请注明原创出处，谢谢！RocketMQ网络部署图 NameServer：在系统中是做命名服务，更新和发现 broker服务。 Broker-Master：broker 消息主机服务器。 Broker-Slave： broker 消息从机服务器。 Producer： 消息生产者。 Consumer： 消息消费者。 说明...
312 天前 / 匠心零度
问题现象 今天忽然收到RocketMQ预警信息如下： 提醒有部分数据没有消费，产生堆积情况。打开RocketMq-Console-Ng查看如下图形式： 备注：第一反应是Consumer Group内订阅了多个topic？（为什么这么怀疑，下次分析）。通过命令statsAll 作用是查询Topic and Consumer tps stats：sh mqadm...
315 天前 / 王霖
本文介绍RocketMQ消费者；包括消费者启动，消费消息流程和其中的要点等。关于rocketmq-client包RocketMQ将producer，consumer和admin相关代码都放到rocketmq-client jar包里；RocketMQ的采用客户端拉的方式消费消息（PUSH也是通过客户端拉来实现的），拉取的时候要考虑负载均衡（rebalance...