专业的编程技术博客社区

网站首页 > 博客文章 正文

RocketMQ多种Broker集群启动模式分析

baijin 2024-08-15 17:03:44 博客文章 15 ℃ 0 评论

一、RocketMQ集群模式说明

distribution模块下的conf文件夹中给出了RocketMQ可以支持的集群启动模式,以及配置文件例子;

RocketMQ中Broker集群五种启动模式

  1. 2主2从异步复制数据模式
  2. 2主2从同步复制数据模式
  3. 2主模式
  4. 权限验证启动模式
  5. Dledger集群模式

以上启动模式大致可以分为2种:1、主从启动模式;2、Dledger集群模式;

二、普通集群模式,主从模式

有一个master节点,其他都是slave节点,master响应客户端的请求,并存储消息;slave只同步master节点的消息(同步模式是:同步同步或者异步同步),也会响应部分客户端读请求。

master挂了的话,slave节点不会转变为master,也就是会导致集群不可用。

三、Dledger集群模式

Dledger集群是rocketmq在4.5版本之后引入的高可用集群模式,采用Raft算法来随机选举master节点,master节点在挂掉不可用的时候,slave节点会根据Raft算法选举出新的master节点。

Dledger主要实现了三个方面的技术点:

  1. 接管broker的commitLog消息存储;
  2. 从集群中选举出master节点;
  3. 完成master节点往slave节点的消息同步。

Dledger集群模式把master叫成leader,slave叫成follower,还有一个叫candidate候选人,在选举leader的时候会出现;leader响应所有客户端的请求,follower只响应leader和candidate请求,客户端如果访问的是follower,也会把请求全部转发给leader请求。

四、Raft协议

Raft协议中,会将时间分为任意时间长度的时间片段,叫做term。每个term都有一个全局唯一,连续递增的编号作为标识。每个节点都会存储当前term编号,每个term时间片段里都会进行新的选举,每次选举都可能会是新的leader产生,每个产生的leader会在当前term时间片段保持leader状态,保证集群中有一个leader。当选举的时候会用term编号进行比较,如果发现自己的编号小于别的节点的,会将编号修改成那个大的编号,此时该节点会把自己改成follower(因为term编号小了),如果比别人的term编号大,则拒绝给它投票。如果当前term时间片段选举不出leader,会等到下次term时间片段进行重新选举,这种term时间片段方式避免了zookeeper的脑裂问题。

五、broker.conf字段说明

brokerClusterName = DefaultCluster
brokerName = broker-a # brokerName其实是属于一组broker的名称
brokerId = 0 # brokerName对应的一组broker里,你的brokerId是多少,如果是0的话,一般来说就代表了你是master
namesrvAddr = 127.0.0.1:9876 # 你要连接的nameserver的地址
deleteWhen = 04 # deleteWhen和fileReservedTime都是broker在本地磁盘文件里存储的数据,清理和管理的配置
fileReservedTime = 48
brokerRole = ASYNC_MASTER # broker是属于一组broker里什么样的角色,master,复制给slave的时候是async异步的
flushDiskType = ASYNC_FLUSH # broker是可以异步刷磁盘
storePathRootDir = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data
storePathCommitLog = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data/commitlog
storePathConsumeQueue = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data/consumequeue
storePathIndex = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data/index
storeCheckpoint = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data/checkpoint
abortFile = /Users/long/IdeaProjects/rocketmq-rocketmq-all-4.9.3/data/abort

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表