RocketMQ 初步了解

RocketMQ 初步了解

前言：

​  近期，因公司使用 RocketMQ 作为消息队列中间件，特此了解。
 RocketMQ 是阿里巴巴在 2012 年开发的分布式消息中间件，专为万亿级超大规模的消息处理而设计，具有高吞吐量、低延迟、海量堆积、顺序收发等特点。

1、基本组成

• 主题（Topic）
  • 消息传输和存储的顶层容器（逻辑概念）
  • 含一个或多个队列
• 队列（MessageQueue）
  • 消息存储和传输的实际容器’
• 消息（Message）
  • 类型：
    • Normal：普通消息
    • FIFO：顺序消息
    • Delay：定时/延时消息
    • Transaction：事务消息
• 生产者（Producer）
  • 构建并传输消息到服务端的运行实体
  • 传输行为：
    • 发送方式（同步传输/异步传输）
    • 批量发送
    • 事务行为
• 消费者（Consumer）
  • 接收并处理消息的运行实体
  • 传输行为：
    • 消费者身份：消费者必须关联一个指定的消费者分组
    • 消费者类型：
      • 消费者身份：消费者必须关联一个指定的消费者分组
      • 消费者类型：
        • PushConsumer
        • SimpleConsumer
        • PullConsumer
      • 消费者本地运行配置
        • 消费者根据不同的消费者类型，控制消费者客户端本地的运行配置
• 消费者分组（ConsumerGroup）
  • 承载多个消费行为一致的消费者的负载均衡分组（逻辑概念）
  • 消费行为：
    • 订阅关系
    • 投递顺序性
    • 消费重试策略
• 订阅关系（Subscription）
  • 消费者获取消息、处理消息的规则和状态配置
    • 消费过滤规则：过滤消费者需要的消息集合
    • 消费状态：消费者分组在服务端注册订阅关系后，当消费者离线并再次上线后，可以获取离线前的消费进度并继续消费

2、功能特性

2.1、消息发送重试和流控机制

2.1.1、消息重发

触发条件：

1. 客户端消息发送请求调用失败或请求超时；
2. 网络异常造成连接失败或请求超时；
3. 服务端节点处于重启或下线等状态造成连接失败；
4. 服务端运行慢造成请求超时；
5. 服务端返回失败错误码。
   1. 系统逻辑错误：因运行逻辑不正确造成的错误；
   2. 系统流控错误：因容量超限造成的流控错误。

2.1.2、流控机制

​  流控机制：指当系统容量或水位过高，MQ 服务端会通过快速失败返回流控错误来避免底层资源承受过高压力

触发条件：

1. 存储压力大；
2. 服务端请求任务排队溢出。

2.2、消息过滤

​  消息过滤：指将符合条件的消息投递给消费者，而不是将匹配到的消息过滤掉。

---

注：

1. 消费者订阅了某个主题后，MQ 会将该主题中的所有消息投递给消费者。
2. 消息过滤功能通过生产者和消费者对消息的属性、标签进行定义。

---

分类：

• Tag标签过滤
  • 单Tag匹配：过滤表达式为目标Tag，表示只有消息标签为指定目标Tag的消息符合匹配条件，才会被发送给消费者。
  • 多Tag匹配：多个Tag之间为或的关系，（不同Tag间使用 || 隔开，如，Tag1||Tag2||Tag3），表示标签Tag1或Tag2或Tag3的消息都满足匹配条件，都会被发送给消费者进行消费。
  • 全部匹配：使用星号（*）作为全匹配表达式，表示主题下的所有消息都将被发送给消费者进行消费。
• SQL属性过滤（SQL92语法）

对比项	Tag标签过滤	SQL属性过滤
过滤目标	消息的Tag标签	消息的属性，包括自定义属性以及系统属性（Tag是一种系统属性）
过滤能力	精准匹配	SQL语法匹配
适用场景	简单过滤场景、计算逻辑简单轻量	复杂过滤场景、计算逻辑较复杂

2.3、负载均衡

​  负载均衡：MQ 通过消费者负载均衡策略，将主题内的消息分配给指定消费者分组中的多个消费者共同分担，进而提高消费并发能力和消费者的水平扩展能力。

模式：

• 消息粒度负载均衡（PushConsumer、SimpleConsumer 默认使用）
  • 消息随机分配；
  • 基于内部的单条消息确认语义实现（消息被消费时加锁）。

• 队列粒度负载均衡（PullConsumer 默认使用）
  • 一个消费者对应一个队列

2.4、消费进度管理

​  消费进度管理：定义消费者客户端启动后从哪里开始消费，如何标记已消费的消息。

术语：

• 消息位点（Offset，0 ~ Long.Max）：消息在队列中的坐标位置。
• 最小消息位点（MinOffset）：队列中最早一条消息的位点。
• 最大消息位点（MaxOffset）：队列中最新一条消息的位点。
• 消费位点（ConsumerOffset）：消费者消费过的最新一条消息的位点。
• 消费位点初始值：消费者首次获取消息时，该时刻队列中的最大消息位点。
• 重置消费位点（功能）
  • 重置到队列中的指定位点；
  • 重置到某一时刻对应的消费位点，匹配位点时，服务端会根据自动匹配到该时刻最接近的消费位点。

2.5、消息存储和清理机制

• 消息存储

  • 管理粒度：按存储节点管理消息的存储时长。
  • 判断依据：以存储时间为判断依据。
  • 消息存储与消息是否被消费的状态无关。

• 消息过期清理机制

  • 消息保存时长并不能完整控制消息的实际保存时间，因为消息存储仍然使用本地磁盘，本地磁盘空间不足时，为保证服务稳定性消息仍然会被强制清理，导致消息的实际保存时长小于设置的保存时长

以上内容总结于 RocketMQ 官方文档

RocketMQ 官方文档链接 https://rocketmq.apache.org/zh/docs/