【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】
持续学习&持续更新中…
守破离
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】
- Message Queue 消息队列
- 异步处理
- 应用解耦
- 流量控制
- 消息中间件概念
- RabbitMQ概念
- Message
- Publisher
- Exchange
- Queue
- Binding
- Connection
- Channel
- Consumer
- Virtual Host
- Broker
- 图示
- 安装
- RabbitMQ运行机制
- AMQP 中的消息路由
- Exchange类型
- 练习
- RabbitMQ整合
- AmqpAdmin 管理组件
- RabbitTemplate 消息发送处理组件
- 监听消息
- 注意
- RabbitMQ消息确认机制-可靠抵达
- 发送端—ConfirmCallback
- 发送端—ReturnCallback
- 发送端—代码配置
- 消费端
- 消息的TTL(Time To Live)
- 什么是死信
- 延时队列
- 延时队列的实现
- 如何保证消息可靠性
- 消息丢失
- 消息重复
- 消息积压
- MQ对比
- 参考
Message Queue 消息队列
异步处理
应用解耦
这样不管库存系统的接口会不会发生改变,订单系统都不关心
流量控制
把用户请求流量存到消息队列中,后台服务根据它自身的处理能力去来进行消费处理,不会导致后台服务宕机
消息中间件概念
大多应用中,可通过消息服务中间件来提升系统异步通信、扩展解耦能力,消息服务中两个重要概念:消息代理(message broker)和目的地(destination)
当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。
消息队列主要有两种形式的目的地
- 队列(queue):点对点消息通信(point-to-point)
- 主题(topic):发布(publish)/订阅(subscribe)消息通信
点对点式:
- 消息发送者发送消息,消息代理将其放入一个队列中,消息接收者从队列中获取消息内容,消息读取后被移出队列
- 消息只有唯一的发送者和接收者
- 很多人都可以监听队列,但是,消息谁抢到就是谁的
发布订阅式:
- 发送者发送消息到主题,多个接收者(订阅者)监听(订阅)这个主题,那么就会在消息到达时,同时收到消息
- (订阅者都会收到消息)
JMS(Java Message Service)JAVA消息服务:基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现
AMQP(Advanced Message Queuing Protocol)高级消息队列协议,也是一个消息代理的规范,兼容JMS
RabbitMQ是AMQP的实现
RabbitMQ概念
RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。
Message
消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成, 这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。
Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。
Exchange
交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型:direct(默认),fanout, topic, 和headers,不同类型的Exchange转发消息的策略有所区别
Queue
消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直 在队列里面,等待消费者连接到这个队列将其取走。
Binding
绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交 换器理解成一个由绑定构成的路由表。
Exchange 和Queue的绑定可以是多对多的关系。
Connection
网络连接,比如一个TCP连接。
客户端和消息中间件之间,一直保持一个长连接。1个客户端只会建立1条连接
长连接的好处:客户端宕机或下线,该长连接就会断开,RabbitMQ就会感知到,就不会再继续派发消息,可以防止大面积消息丢失问题。
Channel
(1条Connection上建立多个Channel,收发数据通过Channel进行)
信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接,AMQP 命令都是通过信道 发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。
因为对于操作系统来说建立和销毁 TCP 都 是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。
Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。
Virtual Host
虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个Vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有自己的队列、交换器、绑定、配置和权限机制。VHost 是 AMQP 概念的基础,必须在连接时指定,RabbitMQ 默认的 vhost 是 /
。
虚拟主机跟虚拟主机之间是相互隔离的。可以用于生产环境和开发环境隔离等
类比,RabbitMQ类似一个多租户系统,各个用户相互隔离。每一个 RabbitMQ 服务器都能创建 虚拟的消息服务器,称之为 虚拟主机(virtual host),简称 vhost。vhost 本质上是一个独立的小型 RabbitMQ 服务器,vhost 可避免队列和交换器等命名冲突,vhost 之间是绝对隔离的
Broker
表示消息队列服务器实体
图示
安装
docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management
docker update rabbitmq --restart=always
- https://www.rabbitmq.com/networking.html
- 4369, 25672 (Erlang发现&集群端口)
- 5672, 5671 (AMQP端口)
- 15672 (web管理后台端口)
- 61613, 61614 (STOMP协议端口)
- 1883, 8883 (MQTT协议端口)
RabbitMQ运行机制
AMQP 中的消息路由
AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别,AMQP 中增加了 Exchange 和Binding 的角色。生产者把消息发布到 Exchange 上,消息最终到达队列并被消费者接收,而 Binding 决定交换器的消息应该发送到那个队列。
Exchange类型
Exchange分发消息时根据类型的不同分发策略有区别,目前共四种类型:direct、fanout、topic、headers 。headers 匹配 AMQP 的消息 header 而不是路由键,headers 交换器和 direct 交换器完全一致,但性能差很多,目前几乎用不到了,所以直接看另外三种类型:
消息中的路由键(routing key)如果和 Binding 中的 binding key 一致, 交换器就将消息发到对应的队列中。
路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为“dog”,则只转发 routing key 标记为“dog”的消息,不会转发“dog.puppy”,也不会转发“dog.guard” 等等。它是完全匹配的模式。
每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。
fanout 类型转发消息是最快的。
topic 交换器通过模式匹配分配消息的路由键属性,将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。 它将路由键和绑定键的字符串切分成单词,这些单词之间用点隔开。
它同样也会识别两个通配符:符号“#”和符号“*”,#匹配0个或多个单词,*匹配1个单词。
练习
RabbitMQ整合
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
spring.rabbitmq.host=192.168.56.10
# 都有默认配置
#spring.rabbitmq.port=5672
#spring.rabbitmq.virtual-host=/
#spring.rabbitmq.username=guest
#spring.rabbitmq.password=guest
/*** 使用RabbitMQ* 1、引入amqp场景启动器;RabbitAutoConfiguration 就会自动生效** 2、给容器中自动配置了* RabbitTemplate、AmqpAdmin、CachingConnectionFactory、RabbitMessagingTemplate;* 所有的属性都是 spring.rabbitmq* @ConfigurationProperties(prefix = "spring.rabbitmq")* public class RabbitProperties** 3、给配置文件中配置 spring.rabbitmq 信息** 4、@EnableRabbit: @EnableXxxxx;开启功能** 5、监听消息:使用@RabbitListener;必须有@EnableRabbit* @RabbitListener: 类+方法上(监听哪些队列即可)* @RabbitHandler:配合@RabbitListener标在方法上(重载区分不同的消息)*/@EnableRabbit
@Configuration
public class MyRabbitConfig {/*** 使用JSON序列化机制,进行消息转换*/@Beanpublic MessageConverter messageConverter() {return new Jackson2JsonMessageConverter();}
AmqpAdmin 管理组件
@Testpublic void createExchange() {/*** DirectExchange(String name, boolean durable, boolean autoDelete, Map<String, Object> arguments)*/Exchange directExchange = new DirectExchange("hello-java-exchange", true, false);amqpAdmin.declareExchange(directExchange);log.info("Exchange[{}]创建成功", "hello-java-exchange");}@Testpublic void createQueue() {/*** public Queue(String name, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments)*/Queue queue = new Queue("hello-java-queue", true, false, false);amqpAdmin.declareQueue(queue);log.info("Queue[{}]创建成功", "hello-java-queue");}@Testpublic void createBinding() {/*** String destination【目的地】,* DestinationType destinationType【目的地类型】,* String exchange【交换机】,* String routingKey【路由键】,* Map<String, Object> arguments【自定义参数】** 将exchange指定的交换机和destination目的地进行绑定,使用routingKey作为指定的路由键*/Binding binding = new Binding("hello-java-queue", Binding.DestinationType.QUEUE, "hello-java-exchange", "hello.java", null);amqpAdmin.declareBinding(binding);log.info("Binding[{}]创建成功", "hello-java-binding");}
RabbitTemplate 消息发送处理组件
@Testpublic void sendMessageTest() {//1、发送消息,如果发送的消息是个对象,我们会使用序列化机制,将对象写出去。对象必须实现SerializableString msg = "Hello World!";rabbitTemplate.convertAndSend("hello-java-exchange", "hello.java", msg);// 2、发送的对象类型的消息,可以自动转成一个json【自定义MessageConverter即可】
// OrderReturnReasonEntity reasonEntity = new OrderReturnReasonEntity();
// reasonEntity.setId(1L);
// reasonEntity.setCreateTime(new Date());
// reasonEntity.setName("哈哈-"+ 666);
// rabbitTemplate.convertAndSend("hello-java-exchange", "hello.java",
// reasonEntity);log.info("消息发送完成{}");}
CorrelationData:消息的唯一ID【可以放在数据库或者Redis中,方便之后判断哪些消息没有可靠抵达】
@RestController
public class RabbitController {@AutowiredRabbitTemplate rabbitTemplate;@GetMapping("/sendOneMq")public String sendOneMq(@RequestParam(value = "num", defaultValue = "10") Integer num) {OrderReturnReasonEntity reasonEntity = new OrderReturnReasonEntity();reasonEntity.setId(1L);reasonEntity.setCreateTime(new Date());reasonEntity.setName("哈哈");
// CorrelationData:消息的唯一ID【可以放在数据库或者Redis中,方便之后判断哪些消息没有可靠抵达】rabbitTemplate.convertAndSend("hello-java-exchange", "hello.java", reasonEntity, new CorrelationData(UUID.randomUUID().toString()));return "ok";}
监听消息
@RabbitListener + @RabbitHandler (重载区分不同的消息)
@GetMapping("/sendMq")public String sendMq(@RequestParam(value = "num", defaultValue = "10") Integer num) {for (int i = 0; i < num; i++) {if (i % 2 == 0) {OrderReturnReasonEntity reasonEntity = new OrderReturnReasonEntity();reasonEntity.setId(1L);reasonEntity.setCreateTime(new Date());reasonEntity.setName("哈哈-" + i);rabbitTemplate.convertAndSend("hello-java-exchange", "hello.java", reasonEntity, new CorrelationData(UUID.randomUUID().toString()));} else {OrderEntity entity = new OrderEntity();entity.setOrderSn(UUID.randomUUID().toString());rabbitTemplate.convertAndSend("hello-java-exchange", "hello22.java", entity, new CorrelationData(UUID.randomUUID().toString()));}}return "ok";}
@RabbitListener(queues = {"hello-java-queue"})
@Service("orderItemService")
public class OrderItemServiceImpl extends ServiceImpl<OrderItemDao, OrderItemEntity> implements OrderItemService {@RabbitHandlerpublic void receiveMessage(Message message,OrderReturnReasonEntity content,Channel channel) throws InterruptedException {
// 接收到消息...(Body:'{"id":1,"name":"哈哈-666","sort":null,"status":null,"createTime":1720438632794}' MessageProperties [headers={__TypeId__=com.atguigu.gulimall.order.entity.OrderReturnReasonEntity}, contentType=application/json, contentEncoding=UTF-8, contentLength=0, receivedDeliveryMode=PERSISTENT, priority=0, redelivered=false, receivedExchange=hello-java-exchange, receivedRoutingKey=hello.java, deliveryTag=1, consumerTag=amq.ctag-ltQ3IQ4H1lvLGqYNyEH3nQ, consumerQueue=hello-java-queue])System.out.println("@RabbitListener接收到消息..." + message);
// System.out.println("接收到消息...content:"+content);
// byte[] body = message.getBody();
// //消息头属性信息
// MessageProperties properties = message.getMessageProperties();
// Thread.sleep(3000);
// System.out.println("消息处理完成=>"+content.getName());}@RabbitHandlerpublic void receiveMessage2(OrderEntity content) throws InterruptedException {System.out.println("@RabbitHandler接收到消息..." + content);}}
@RabbitListener写在方法上
@Service("orderItemService")
public class OrderItemServiceImpl extends ServiceImpl<OrderItemDao, OrderItemEntity> implements OrderItemService {@RabbitListener(queues = {"hello-java-queue"})public void receiveMessage(OrderEntity content) throws InterruptedException {System.out.println("接收到消息..." + content);}}
注意
- Queue、Exchange、Binding可以 @Bean 注入进去
- 监听消息的方法可以有三种参数(不分数量,顺序):Object content, Message message, Channel channel
- channel可以用来拒绝或者签收消息
RabbitMQ消息确认机制-可靠抵达
保证消息不丢失,可靠抵达,可以使用事务消息,这样性能会下降250倍,为此引入确认机制:
- publisher confirmCallback :确认模式
- publisher returnCallback :未投递到 queue 退回模式
- consumer 手动 ack 机制
发送端—ConfirmCallback
spring.rabbitmq.publisher-confirms=true
在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项,开启confirmcallback 。
CorrelationData:用来表示当前消息唯一性。
消息只要被 broker 接收到就会执行 confirmCallback,如果是 cluster 模式,需要所有 broker 接收到才会调用confirmCallback。
被 broker 接收到只能表示 message 已经到达服务器,并不能保证消息一定会被投递到目标 queue 里。所以需要用到接下来的 returnCallback 。
发送端—ReturnCallback
spring.rabbitmq.publisher-returns=true
spring.rabbitmq.template.mandatory=true
confrim 模式只能保证消息到达 broker,不能保证消息准确投递到目标 queue 里。在有些业务场景下,我们需要保证消息一定要投递到目标 queue 里,此时就需要用到return 退回模式。
这样如果消息未能投递到目标 queue 里将调用 returnCallback ,可以记录下详细到投递数据,定期的巡检或者自动纠错都需要这些数据。
发送端—代码配置
#服务端确认
# 开启消息正确抵达RabbitMQ确认
spring.rabbitmq.publisher-confirms=true
# 开启RabbitMQ中的消息正确的从交换机投递到队列确认
spring.rabbitmq.publisher-returns=true
# 只要消息抵达队列,以异步方式优先回调ReturnCallback
spring.rabbitmq.template.mandatory=true
@Configuration
public class MyRabbitConfig {/*** 使用JSON序列化机制,进行消息转换*/@Beanpublic MessageConverter messageConverter() {return new Jackson2JsonMessageConverter();}private RabbitTemplate rabbitTemplate;@Primary@Beanpublic RabbitTemplate rabbitTemplate(ConnectionFactory connectionFactory) {RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);this.rabbitTemplate = rabbitTemplate;rabbitTemplate.setMessageConverter(messageConverter());initRabbitTemplate();return rabbitTemplate;}/*** 定制RabbitTemplate* 做好消息确认机制(publisher,consumer【手动ack】)* 每一个发送的消息都在数据库做好记录。定期将失败的消息再次发送一遍** 发送端确认:* 1、Broker收到消息就回调【P——>B】* 1、spring.rabbitmq.publisher-confirms=true* 2、设置确认回调ConfirmCallback* 2、消息没有正确抵达队列进行回调【E——>Q】* 1、spring.rabbitmq.publisher-returns=true* spring.rabbitmq.template.mandatory=true* 2、设置确认回调ReturnCallback*** 消费端确认(保证每个消息被正确消费,此时broker才可以删除这个消息)。* spring.rabbitmq.listener.simple.acknowledge-mode=manual #手动签收* 默认是自动确认的:只要消息接收到,客户端会自动确认,服务端就会移除这个消息* 问题:* 我们收到很多消息,如果自动回复给服务器ack,当消息由于各种原因没有成功处理完成,就会发生消息丢失;* 消费者手动确认模式:* 只要我们没有明确告诉MQ消息被签收,消息就一直是unacked状态。* 即使Consumer宕机,消息也不会丢失,会重新变为Ready状态,下一次有新的Consumer连接进来就发给他* 如何签收:* channel.basicAck(deliveryTag,false);业务成功,签收* channel.basicNack(deliveryTag,false,true);业务失败,拒签,并让消息重新入队;*/
// @PostConstruct //MyRabbitConfig对象创建完成以后,也就是构造器执行完成后,执行这个方法public void initRabbitTemplate() {rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {/*** P ——> B [Publisher ——> Broker]** 只要消息抵达Broker这里的ack就为true* @param correlationData 当前消息的唯一关联数据(这个是消息的唯一id,发布者发消息的时候传递的)* @param ack 消息是否成功抵达Broker* @param cause 失败的原因*/@Overridepublic void confirm(CorrelationData correlationData, boolean ack, String cause) {//Broker收到了:修改消息的状态——>Broker接收到消息
// System.out.println("confirm...correlationData[" + correlationData + "]==>ack[" + ack + "]==>cause[" + cause + "]");}});rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {/*** E ——> Q [Exchange ——> Queue]** 只要消息没有正确投递给指定的队列,就会触发这个失败回调* @param message 投递失败的消息的详细信息* @param replyCode 回复的状态码* @param replyText 回复的文本内容* @param exchange 当时这个消息发给了哪个交换机* @param routingKey 当时这个消息指定的路由键*/@Overridepublic void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {//报错了:修改数据库当前消息的状态——>队列接收消息发生错误
// System.out.println("Fail Message[" + message + "]==>replyCode[" + replyCode + "]==>replyText[" + replyText + "]===>exchange[" + exchange + "]===>routingKey[" + routingKey + "]");}});}}
消费端
消费者获取到消息,成功处理,可以回复Ack给Broker
- basic.ack用于肯定确认;broker将移除此消息
- basic.nack用于否定确认;可以指定broker是否丢弃此消息,可以批量
- basic.reject用于否定确认;可以指定broker是否丢弃此消息,但不能批量
默认自动ack,消息被消费者收到,就会从broker的queue中移除
queue无消费者,消息依然会被存储,直到消费者消费。消费者收到消息,默认会自动ack。但是如果无法确定此消息是否被处理完成, 或者成功处理。我们可以开启手动ack模式spring.rabbitmq.listener.simple.acknowledge-mode=manual
- 消息处理成功,ack(),接受下一个消息,此消息broker就会移除
- 消息处理失败,nack()/reject(),重新发送给其他人进行处理,或者容错处理后ack,或者丢弃
- 消息一直没有调用ack/nack方法(比如宕机/程序出异常),broker认为此消息正在被处理,不会投递给别人,此时客户端断开,MQ感知到后,消息不会被broker移除,会重新入队并投递给别人
# 客户端确认:开启手动ack消息
spring.rabbitmq.listener.simple.acknowledge-mode=manual
/*** 消费端确认(保证每个消息被正确消费,此时broker才可以删除这个消息)。* spring.rabbitmq.listener.simple.acknowledge-mode=manual #手动签收* 默认是自动确认的:只要消息接收到,客户端会自动确认,服务端就会移除这个消息* 问题:* 我们收到很多消息,如果自动回复给服务器ack,当消息由于各种原因没有成功处理完成,就会发生消息丢失;* 消费者手动确认模式:* 只要我们没有明确告诉MQ消息被签收,消息就一直是unacked状态。* 即使Consumer宕机,消息也不会丢失,会重新变为Ready状态,下一次有新的Consumer连接进来就发给他* 如何签收:* channel.basicAck(deliveryTag,false);业务成功,签收* channel.basicNack(deliveryTag,false,true);业务失败,拒签,并让消息重新入队;*/
@RabbitListener(queues = {"hello-java-queue"})public void receiveMessage0(Message message,Channel channel) {
// multiple:是否批量
// requeue=false 丢弃 requeue=true 发回服务器,让服务器重新入队该消息。// long deliveryTag, boolean multiple
// channel.basicAck( deliveryTag, false); 只签收当前货物,不批量签收;// long deliveryTag, boolean multiple, boolean requeue
// channel.basicNack( deliveryTag, false, true); 拒签当前货物【是否将该消息让MQ重新放入队列,看自己的业务需求】// long deliveryTag, boolean requeue
// channel.basicReject( deliveryTag, true); 拒签当前货物【是否将该消息重新放回MQ看自己的业务需求】//DeliveryTag在channel内按顺序自增long deliveryTag = message.getMessageProperties().getDeliveryTag();System.out.println("deliveryTag==>" + deliveryTag);//签收货物(消息),非批量模式try {if (deliveryTag % 2 == 0) {//收货channel.basicAck(deliveryTag, false);System.out.println("签收了货物"+ message +"...deliveryTag..." + deliveryTag);} else {//退货 requeue=false 丢弃 requeue=true 发回服务器,服务器重新入队。channel.basicNack(deliveryTag, false, true);
// channel.basicReject(deliveryTag, true);// channel.basicNack(deliveryTag, false, false);System.out.println("不签收货物"+ message +"...deliveryTag..." + deliveryTag);}} catch (Exception e) {//网络中断,签收信息未成功发送给Broker}}
消息的TTL(Time To Live)
消息的TTL就是消息的存活时间。
RabbitMQ给消息设置 TTL
- 通过队列设置:队列中的消息都有相同的过期时间
- 给消息本身设置:每条消息的 TTL 可以不同
如果队列设置了,消息也设置了,则最小的 TTL 生效。所以一个消息如果被路由到不同的队列中,这个消息死亡的时间有可能不一样(不同的队列设置)。
消息在队列中生存时间一旦超过 TTL,就会变成死信(Dead Message)
什么是死信
- 一个消息被Consumer拒收了,并且reject方法的参数里requeue是false。也就是说不会被再次放在队列里,被其他消费者使用。(
basic.reject/ basic.nack)requeue=false
- 消息的TTL到了,消息过期了。(没有人消费它)
- 队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上
延时队列
当消息在一个队列中变成死信之后,它能被发送到一个指定的交换机中,这个交换机就是 DLX (Dead Letter Exchange),可称为死信交换机。
绑定在 DLX 上的队列就称为死信队列。
我们既可以控制消息在一段时间后变成死信,又可以控制变成死信的消息被路由到某一个指定的交换机,这个交换机又可以绑定队列去消费死信,结合它们就可以实现一个延时队列
不推荐使用给消息设置过期时间这种方式实现延时队列
延时队列的实现
import org.springframework.amqp.core.*;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.HashMap;
import java.util.Map;@Configuration
public class MyMQConfig {//@Bean Binding,Queue,Exchange/*** 容器中的 Binding,Queue,Exchange 都会自动创建(RabbitMQ没有的情况)* RabbitMQ中已有的话 @Bean中声明属性发生了变化也不会覆盖*/@Beanpublic Queue orderDelayQueue() {Map<String,Object> arguments = new HashMap<>();/*** x-dead-letter-exchange: order-event-exchange* x-dead-letter-routing-key: order.release.order* x-message-ttl: 60000*/arguments.put("x-dead-letter-exchange","order-event-exchange");arguments.put("x-dead-letter-routing-key","order.release.order");arguments.put("x-message-ttl",60000);//String name, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> argumentsreturn new Queue("order.delay.queue", true, false, false,arguments);}@Beanpublic Queue orderReleaseOrderQueue() {return new Queue("order.release.order.queue", true, false, false);}@Beanpublic Exchange orderEventExchange() {//String name, boolean durable, boolean autoDelete, Map<String, Object> argumentsreturn new TopicExchange("order-event-exchange",true,false);}@Beanpublic Binding orderCreateOrderBinding() {//String destination, DestinationType destinationType, String exchange, String routingKey,// Map<String, Object> argumentsreturn new Binding("order.delay.queue",Binding.DestinationType.QUEUE,"order-event-exchange","order.create.order",null);}@Beanpublic Binding orderReleaseOrderBinding() {return new Binding("order.release.order.queue",Binding.DestinationType.QUEUE,"order-event-exchange","order.release.order",null);}}
import com.atguigu.gulimall.order.entity.OrderEntity;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.ResponseBody;import java.io.IOException;
import java.util.Date;
import java.util.UUID;@Controller
public class HelloController {@AutowiredRabbitTemplate rabbitTemplate;@RabbitListener(queues = {"order.release.order.queue"})public void testListenOrderRelease(OrderEntity order, Message message, Channel channel) throws IOException {System.out.println("listenOrderRelease order : " + order);System.out.println("listenOrderRelease message : " + message);System.out.println("listenOrderRelease channel : " + channel);channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);}@ResponseBody@GetMapping("/test/createOrder")public String createOrderTest() {//订单下单成功OrderEntity entity = new OrderEntity();entity.setOrderSn(UUID.randomUUID().toString());entity.setModifyTime(new Date());//给MQ发送消息。rabbitTemplate.convertAndSend("order-event-exchange", "order.create.order", entity);return "ok";}}
如何保证消息可靠性
消息丢失
消息丢失出现的原因:
-
消息发送出去,由于网络问题没有抵达MQ服务器(Broker)
- 发送者做好容错方法(try-catch),发送消息可能会网络失败,失败后要有重试机制;
- 做好记录,每个消息发送出去后都应该记录到数据库
-
消息抵达Broker,Broker要将消息写入磁盘(持久化)才算成功。此时Broker尚未持久化完成就宕机。
- publisher必须加入确认回调机制,回调后,根据是否成功,修改数据库消息的发送状态。
- 做好定期重发,定期去数据库扫描未成功的消息进行重发
-
自动ACK的状态下。消费者收到消息,但没来得及处理完成消息宕机
- 一定开启手动ACK,消费成功才移除,失败或者没来得及处理就noAck并重新入队
防止消息丢失:
- 做好消息确认机制(publisher,consumer【手动ack】)
- publisher将发送的消息都在数据库做好记录。定期从数据库扫描发送失败的消息,将它们再次发送
比如给数据库创建如下表,用来记录消息的发送状态:
CREATE TABLE `mq_message`
(`message_id` char(32) NOT NULL,`content` text,`to_exchange` varchar(255) DEFAULT NULL,`routing_key` varchar(255) DEFAULT NULL,`class_type` varchar(255) DEFAULT NULL,`message_status` int(1) DEFAULT '0' COMMENT '0-新建 1-已发送 2-错误抵达 3-已抵达',`create_time` datetime DEFAULT NULL,`update_time` datetime DEFAULT NULL,PRIMARY KEY (`message_id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4
消息重复
- 消息消费失败,由于重试机制,自动又将消息发送出去。【这种情况允许重复】
- 成功消费,手动ack时宕机或者网络原因等等,消息由unack变为ready,Broker又重新发送
- 将消费者的业务消费接口设计为幂等的即可。比如要解锁库存先判断状态
- 使用防重表(redis/mysql),发送消息每一个都有业务的唯 一标识,处理过就不用处理
- rabbitMQ的每一个消息都有redelivered字段,可以获取是否是被重新投递过来的,而不是第一次投递过来的
Boolean redelivered = message.getMessageProperties().getRedelivered();
消息积压
- 消费者宕机积压
- 消费者消费能力不足积压
- 发送者发送流量太大
- 上线更多的消费者,进行正常消费
- 上线专门的消费服务,将消息先批量取出来,记录数据库,离线慢慢处理
MQ对比
参考
雷丰阳: Java项目《谷粒商城》Java架构师 | 微服务 | 大型电商项目.
本文完,感谢您的关注支持!
相关文章:
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】
持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】 Message Queue 消息队列异步处理应用解耦流量控制 消息中间件概念RabbitMQ概念MessagePublisherExchangeQueueBindingConnectionChannelConsumerVirtual HostBroker图…...
概率论原理精解【4】
文章目录 度量空间概述理论基础定义特点高级概念广泛应用 性质例子应用 柯西数列柯西数列的定义柯西数列的例子 参考文献 度量空间 概述 设 f : R n → R m , f ˙ ( x ) 在 { x : ∣ x − x 0 ∣ < r } 内连续,则当 ∣ t ∣ < r 时, f:R^n\righ…...
Linux云计算 |【第一阶段】ENGINEER-DAY3
主要内容: LVM逻辑卷管理、VDO、RAID磁盘阵列、进程管理 一、新建逻辑卷 1、什么是逻辑卷 逻辑卷(Logical Volume)是逻辑卷管理(Logical Volume Management,LVM)系统中的一个概念。LVM是一种用于磁盘管理…...
springboot 实体类加注解校验入参数据
导入的是springboot自身的依赖包 import org.springframework.validation.annotation.Validated; import org.springframework.web.bind.annotation.*; import javax.validation.Valid;...
关于 Qt输入法在arm特定的某些weston下出现调用崩溃 的解决方法
若该文为原创文章,转载请注明原文出处 本文章博客地址:https://hpzwl.blog.csdn.net/article/details/140423667 长沙红胖子Qt(长沙创微智科)博文大全:开发技术集合(包含Qt实用技术、树莓派、三维、OpenCV…...
Android Studio关于Gradle及JDK问题解决
1.Android Studio 版本如:Android Studio Koala | 2024.1.1 2.Gradle 版本为:8.7 3.JDK 版本为:17 以上这三个必须匹配,具体可以看官网Android Studio 版本说明(https://developer.android.google.cn/studio?hlzh-…...
Leetcode 205. 同构字符串
205. 同构字符串 Leetcode 205. 同构字符串 一、题目描述二、我的想法三、其他人的题解 一、题目描述 给定两个字符串 s 和 t ,判断它们是否是同构的。 如果 s 中的字符可以按某种映射关系替换得到 t ,那么这两个字符串是同构的。 每个出现的字符都应…...
多口适配器,给您的生活增添便利
随着科技的快速发展,我们的生活已离不开各种各样的电子设备,智能手机、平板电脑、智能手表、无线耳机……它们共同构建了我们丰富多彩的数字生活。然而,面对众多设备的充电需求,传统的单一充电口已难以满足现代人的使用习惯。在这…...
探索现代Web开发:WebKit的剪贴板API革新
探索现代Web开发:WebKit的剪贴板API革新 在当今的Web开发领域,用户体验的提升是开发者们不懈追求的目标。其中一个关键的交互点便是剪贴板操作,它允许用户在网页与本地系统之间复制和粘贴数据。WebKit,作为Safari、QQ浏览器等众多…...
【电路笔记】-放大器的频率响应
放大器的频率响应 文章目录 放大器的频率响应1、概述2、定义3、电容器的影响4、低频响应5、高频响应6、总结1、概述 对于任何电子电路来说,放大器的行为都会受到其输入端子上信号频率的影响。 该特性称为频率响应。 频率响应是放大器最重要的特性之一。 在放大器设计的频率范…...
Artix7系列FPGA实现SDI视频编解码,基于GTP高速接口,提供3套工程源码和技术支持
目录 1、前言工程概述免责声明 2、相关方案推荐本博已有的 SDI 编解码方案本方案在Xilinx--Kintex系列FPGA上的应用本方案在Xilinx--Zynq系列FPGA上的应用 3、详细设计方案设计原理框图SDI 输入设备Gv8601a 均衡器GTP 高速接口-->解串与串化SMPTE SD/HD/3G SDI IP核BT1120转…...
NET 语言识别,语音控制操作、语音播报
System.Speech. 》》System.Speech.Synthesis; 语音播报 》》System.Speech.Recognition 语音识别 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Speech.Recog…...
Unity 调试死循环程序
如果游戏出现死循环如何调试呢。 测试脚本 我们来做一个测试。 首先写一个死循环代码: using System.Collections; using System.Collections.Generic; using UnityEngine;public class dead : MonoBehaviour {void Start(){while (true){int a 1;}}}Unity对象设…...
视频监控平台LntonCVS视频融合共享平台智慧安防视频监控汇聚应用方案
LntonCVS是一款功能强大且灵活部署的安防视频监控平台。它支持多种主流标准协议,包括GB28181、RTSP/Onvif、RTMP等,同时能够兼容海康Ehome、海大宇等厂家的私有协议和SDK接入。该平台不仅提供传统的安防监控功能,还支持接入AI智能分析&#x…...
【论文阅读笔记】Hierarchical Neural Coding for Controllable CAD Model Generation
摘要 作者提出了一种CAD的创新生成模型,该模型将CAD模型的高级设计概念表示为从全局部件排列到局部曲线几何的三层神经代码的层级树,并且通过指定目标设计的代码树来控制CAD模型的生成或完成。具体而言,一种带有“掩码跳过连接”的向量量化变…...
Unity扩展SVN命令
可以直接在unity里右键文件提交和查看提交记录 顶部菜单栏上回退和更新整个unity工程 SvnForUnity.CS 记得要放在Editor文件夹下 using System.Collections; using System.Collections.Generic; using System.Diagnostics; using System.IO; using UnityEditor; using Unity…...
「实战应用」如何用DHTMLX将上下文菜单集成到JavaScript甘特图中(三)
DHTMLX Gantt是用于跨浏览器和跨平台应用程序的功能齐全的Gantt图表。可满足项目管理应用程序的所有需求,是最完善的甘特图图表库。 DHTMLX Gantt是一个高度可定制的工具,可以与项目管理应用程序所需的其他功能相补充。在本文中您将学习如何使用自定义上…...
微服务保护
1、什么是微服务保护 微服务保护是指在微服务架构中采取的一系列措施,以确保各个服务的稳定性、可靠性和安全性。微服务是一种将应用程序作为一套小服务开发的方法,每个服务运行在其独立的进程中,并通常围绕特定的业务能力进行构建。微服务保…...
Python语言的优势所在
Python语言具有多个显著的优势,这些优势使得它在软件开发、数据分析、机器学习、Web开发等众多领域广受欢迎。以下是Python语言的一些主要优势: 简单易学:Python的语法清晰简洁,接近自然语言,易于理解和编写。对于初学…...
npm install时报错 reason: certificate has expired
在VS code中导入新项目,执行npm install时报错: npm warn old lockfile Could not fetch metadata for antv/g3.4.10 FetchError: request to https://registry.npm.taobao.org/antv%2fg failed, reason: certificate has expirednpm warn old lockfile …...
价格战再起:OpenAI 发布更便宜、更智能的 GPT-4o Mini 模型|TodayAI
OpenAI 今日推出了一款名为 GPT-4o Mini 的新模型,这款模型较轻便且成本更低,旨在为开发者提供一个经济实惠的选择。与完整版模型相比,GPT-4o mini 在成本效益方面表现卓越,价格仅为每百万输入 tokens 15 美分和每百万输出 tokens…...
从0开始对时间序列模型ACF和PACF的理解(以股价预测为例子)
目录 ACF模型选择问题ACF处理问题 PACF(偏自相关系数)模型选择 ACF 先了解一下概念,我不喜欢用公式套话讲。 ACF(自相关函数):就是看看当前的股票价格和之前的股票价格之间有没有关系。比如说,…...
MybatisPlus(MP)基础知识全解析
MyBatis-Plus(简称MP)是一个基于Java的持久层框架,它在MyBatis的基础上提供了许多实用的功能增强,使得开发者可以更加便捷地进行数据库操作。本文将介绍MyBatis-Plus的基础知识,包括其特性、核心组件以及如何使用它进行…...
前端组件化实践:Vue自定义加载Loading组件的设计与实现
摘要 随着前端技术的飞速发展,组件化开发已成为提高开发效率、降低维护成本的重要方法。本文介绍了前端Vue自定义加载Loading组件的设计思路与实现过程,该组件通过设置gif动画实现加载效果,可广泛应用于页面请求加载场景。通过该组件的实践&…...
LLaMA 背景
什么是LLaMA? 模型介绍:LLaMA是Meta开发的语言模型,旨在推动开放科学和人工智能的实践。 参数范围:这些模型的参数数量从7B到65B不等,覆盖了不同规模的需求。 训练数据:LLaMA模型是在数万亿个公开数据集的…...
硅谷裸机云多IP服务器怎么样?
硅谷裸机云多IP服务器是一种在硅谷地区提供的、具有多个IP地址的裸机云服务器。这种服务器结合了裸机服务器的高性能和云服务器的灵活性,同时提供了多个IP地址,为用户的各种需求提供了支持。以下是关于硅谷裸机云多IP服务器的一些详细信息,ra…...
Python+Django+MySQL的新闻发布管理系统【附源码,运行简单】
PythonDjangoMySQL的新闻发布管理系统【附源码,运行简单】 总览 1、《新闻发布管理系统》1.1 方案设计说明书设计目标工具列表 2、详细设计2.1 登录2.2 程序主页面2.3 新闻新增界面2.4 文章编辑界面2.5 新闻详情页2.7 其他功能贴图 3、下载 总览 自己做的项目&…...
实战项目:仿muduo库实现并发服务器
目录 项目初始与项目演示HTTP服务器基础认识Reactor模式基础认识单Reactor单线程模式认识单Reactor多线程模式认识多Reactor多线程模式认识 目标定位总体大模块划分server模块的管理思想Buffer子模块Socket子模块Channel子模块Connection子模块Acceptor子模块TimerQueue子模块P…...
提高Java程序效率:ImmutableList、Stream API 和 JSON序列化实战指南
常用列表构建方法: 1.ImmutableList.of() : 静态方法、不可变的列表 可以接受任意数量的参数,并将它们作为元素添加到新创建的列表中,但是一旦创建,集合的内容就不能被改变。在多线程环境中非常有用,因为…...
[CP_AUTOSAR]_分层软件架构_接口之通信模块交互介绍
目录 1、协议数据单元(PDU)传输2、通信模块的案例2.1、SDU、 PCI & PDU2.2、通信模块构成2.3、从数据传输的角度看Communication2.4、Communication中的接口 在前面 《关于接口的一些说明》 以及 《Memory软件模块接口说明》 中,简要介绍了CP_AUTOSAR分层…...
加强网站建设 基本措施/搜索引擎优化的内部优化
9.9 NOIP模拟题 T1 两个圆的面积求并 /* 计算圆的面积并 多个圆要用辛普森积分解决 这里只有两个,模拟计算就好 两圆相交时,面积并等于中间两个扇形面积减去两个三角形面积 余弦定理求角度,算出三角形面积 */ #include<cstdio> #inclu…...
网站软文写作要求/淘宝关键词搜索量查询
2019独角兽企业重金招聘Python工程师标准>>> 1.介绍 是一款桌面录像很好的软件 下载地址:http://yunpan.cn/cZE53uszCyvhb 访问密码 cb90 2.安装 2.1.点击屏幕录像专家.exe 2.2.按照说明点击下一步,其中遇到这个界面注意按照勾选 2.3.…...
宁波建设银行网站分部/培训学校加盟费用
哪里有macOS常用的压缩解压软件?小编今天为大家推荐的是解压专家 mac版下载,解压专家mac中文版是一个小巧易用的程序,可以压缩或解压许多不同类型的压缩文件。使用FileZip,您可以根据需要压缩任意数量的文件。您也可以使用密码保护…...
大连seo外包公司/品牌推广百度seo
1.软件的前期准备分为“需求准备”和“构建准备”,两者都有系统的规范。code complete中对这两者都提出了详细的确认方法。这里的确认方法并非戒律,而更像备忘。 2.在构建活动中的设计部分,书中提出了几大范围,我个人觉得划分得非…...
电子商务网站推广方法和技巧/广州推广引流公司
兰州计算机学校排行情况得到了很多学生和家长的关注。我国计算机事业飞速发展,特别是在最近几年的计算机发展都是我们有目共睹和亲身体验的。伴随着网络时代的发展,计算机行业急需热门专业的人才也是受到现在初高中应往届毕业生的亲睐。下文3721职校网就…...
莱州教研室网站/百度云盘资源
git mercurialJDK团队希望通过Project Skara来研究JDK源代码管理的替代方案,该替代方案自2008年以来一直在使用Mercurial存储库。 “退休” Mercurial并选择Git是个好主意吗? 投票表决,看看Java冠军Stephen Colebourne对这次讨论要说些什么。…...