RocketMQ: Broker 使用指南

Broker 配置参数

• 获取 Broker 的默认配置 $ sh mqbroker -m

• Broker 启劢时，如何加载配置

  ### 第一步生成 Broker 默认配置模版
  sh mqbroker -m > broker.p
  ### 第二步修改配置文件, broker.p
  ### 第三步加载修改过的配置文件
  nohup sh mqbroker -c broker.p
  

• Broker 运行过程中，动态改变 Broker 的配置，注意，并非所有配置项都支持动态变更

  ### 修改地址为 192.168.1.100:10911 的 Broker 消息保存时间为 24 小时
  sh mqadmin updateBrokerConfig -b 192.168.1.100:10911 -k fileReservedTime -v 24
  

字段名	默认值	说明
listenPort	10911	Broker 对外服务的监听端口
namesrvAddr	null	Name Server 地址
brokerIP1	本机 IP	本机 IP 地址，默认系统自动识别，但是某些多网卡机器会存在识别错误的情况，这种情况下可以人工配置
brokerName	本机主机名
brokerClusterName	DefaultCluster	Broker 所属哪个集群
brokerId	1	BrokerId，必须是大等于 0 的整数，0 表示 Master，>0 表示 Slave，一个 Master 可以挂多个 Slave，Master 与 Slave 通过 BrokerName 来配对
autoCreateTopicEnable	TRUE	是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
autoCreateSubscriptionGroup	TRUE	是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
rejectTransactionMessage	FALSE	是否拒绝事务消息接入
fetchNamesrvAddrByAddressServer	FALSE	是否从web服务器获取Name Server 地址，针对大规模的Broker 集群建议使用这种方式
storePathCommitLog	$HOME/store/commitlog	commitLog 存储路径
storePathConsumeQueue	$HOME/store/consumequeue	消费队列存储路径
storePathIndex	$HOME/store/index	消息索引存储路径
storeCheckpoint	$HOME/store/checkpoint	checkpoint 文件存储路径
abortFile	$HOME/store/abort	abort 文件存储路径
deleteWhen	4	删除文件时间点，默认凌晨 4 点
fileReservedTime	48	文件保留时间，默认 48 小时
maxTransferBytesOnMessageInMemory	262144	单次 Pull 消息（内存）传输的最大字节数
maxTransferCountOnMessageInMemory	32	单次 Pull 消息（内存）传输的最大条数
maxTransferBytesOnMessageInDisk	65536	单次 Pull 消息（磁盘）传输的最大字节数
maxTransferCountOnMessageInDisk	8	单次 Pull 消息（磁盘）传输的 最大条数
messageIndexEnable	TRUE	是否开启消息索引功能
messageIndexSafe	FALSE	是否提供安全的消息索引机制，索引保证不丢
haMasterAddress		在 Slave 上直接设置 Master 地址，默认从 Name Server 上，自动获取，也可以手工强制配置
brokerRole	ASYNC_MASTER	Broker 的角色 - ASYNC_MASTER 异步复制 Master - SYNC_MASTER 同步双写 Master - SLAVE
flushDiskType	ASYNC_FLUSH	刷盘方式 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
cleanFileForciblyEnable	TRUE	磁盘满、且无过期文件情况下，TRUE 表示强制删除文件，优先保证服务可用，FALSE 标记服务不可用，文件不删除

Broker 集群搭建

推荐的几种 Broker 集群部署方式，这里的 Slave 不可写，但可读，类似于 Mysql 主备方式

1 ）单个 Master

• 这种方式风险较大，一旦 Broker 重启或者宕机时，会导致整个服务不可用，不建议线上环境使用

2 ） 多 Master 模式

• 一个集群无 Slave，全是 Master，例如 2 个 Master 戒者 3 个 Master

• 优点：配置简单，单个 Master 宕机戒重启维护对应用无影响，在磁盘配置为 RAID10 时，即使机器宕机不可恢复情况下，由于 RAID10 磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高

• 缺点：单台机器宕机期间，返台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响

  ### 先启劢 Name Server，例如机器 IP 为：192.168.1.1:9876
  nohup sh mqnamesrv &
  ### 在机器 A，启劢第一个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties &
  ### 在机器 B，启动第二个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties &
  

3 ) 多 Master 多 Slave 模式，异步复制

• 每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。
• 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。
• 缺点：Master 宕机，磁盘损坏情况，会丢失少量消息

  ### 先启动 Name Server，例如机器 IP 为：192.168.1.1:9876
  nohup sh mqnamesrv &
  ### 在机器 A，启动第一个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties &
  ### 在机器 B，启动第二个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties &
  ### 在机器 C，启动第一个 Slave
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties &
  ### 在机器 D，启动第二个 Slave
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties &
  

4 ）多 Master 多 Slave 模式，同步双写

• 每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用同步双写方式，主备都写成功，向应用返回成功

• 优点：数据不服务都无单点，Master 宕机情况下，消息无延迟，服务可用性不数据可用性都非常高

• 缺点：性能比异步复制模式略低，大约低 10%左右，发送单个消息的 RT 会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能

  ### 先启动 Name Server，例如机器 IP 为：192.168.1.1:9876
  nohup sh mqnamesrv &
  ### 在机器 A，启动第一个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &
  ### 在机器 B，启动第二个 Master
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &
  ### 在机器 C，启动第一个 Slave
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &
  ### 在机器 D，启动第二个 Slave
  nohup sh mqbroker -n 192.168.1.1:9876 -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &
  

• 以上 Broker 与 Slave 配对是通过指定相同的 brokerName 参数来配对，Master 的 BrokerId 必须是 0，Slave 的 BrokerId 必须是大于 0 的数。另外一个 Master 下面可以挂载多个 Slave，同一 Master 下的多个 Slave 通过指定不同的 BrokerId 来区分。

• $ROCKETMQ_HOST 指的 RocketMQ 安装目录，需要用户自己设置此环境变量。

Broker 重启对客户端的影响

• Broker 重启可能会导致正在发往这台机器的的消息发送失败，RocketMQ 提供了一种优雅关闭 Broker 的方法，通过执行以下命令会清除 Broker 的写权限，过 40s 后，所有客户端都会更新 Broker 路由信息，此时再关闭 Broker 就不会发生发送消息失败的情况，因为所有消息都发往了其他 Broker

• sh mqadmin wipeWritePerm -b brokerName -n namesrvAddr