RabbitMQ 常见问题
1. 如何保证消息顺序消费
在RabbitMQ中,消息最终会保存在队列中,在同一个队列中,消息是顺序的,保持先进先出的原则,这个由Rabbitmq保证。而不同队列中的消息,RabbitMQ 是无法保证其顺序性。顺序消费主要是指消费者按照队列中消息出队的顺序消费,出现顺序错乱的场景主要有两种:
- 一个queue存在多个consumer去消费,这样就可能会造成顺序的错乱。虽然consumer从MQ里面读取消息是顺序的,但是每个consumer的执行时间是不固定的,无法保证先读到消息的consumer一定先完成操作,如果先消费的处理时间很长,后面消费的处理时间很快,这样就会出现先出队的消息要晚于后出队的消息执行,从而造成消息顺序错乱。
- 一个quque上只有一个consumer去消费,但是这个consumer是多线程异步处理,因此也不能保证这个consumer按顺序消费;
解决方案:
- 单一队列顺序消费:将所有需要按顺序处理的消息发送到同一个队列中,然后只使用一个消费者单线程去处理消费队列中的消息。这样可以确保消息按照发送的顺序被消费,只是会牺牲消息消费的吞吐量。
- 设置消息序号标识:根据队列中消息的顺序设置一个递增的序号,当消费者消费处理时判断当前消息的序号的前一位是否已存在消息的处理记录表中,不存在说明前面一个消息还未处理完,然后不断轮询记录表中的前一个序号的记录,直到查询到前一个序号的记录之后再执行当前消息的处理逻辑,执行完成后再将当前消息的序号信息存储到记录表中。
2. 如何实现消息延时消费
有些场景需要保证队列中的消息不能立即被消费,需要延长一段时间后再进行消费。正常来说,消息到达队列后并且队列没有消息堆积的情况,只要有消费者监听了这个队列并且消费者是正常运行的,那么消息就会立刻被消费掉。实现这种延时消费的方案有两种:
- 延时队列:RabbitMQ 本身不支持延时队列,但是我们可以通过 RabbitMQ 的插件 rabbitmq-delayed-message-exchange来发生延迟消息。
- 死信队列 + 消息过期:创建一个队列并设置好对应的死信队列,该队列不设置任何消费者。先将消息放到这个队列中,并设置消息过期时间,当消息过期后,就会转存到死信队列中,然后消费者只要监听死信队列就好。
3. 如何解决消息堆积问题
消息的堆积是指在消息队列中,当生产者以较快的速度发送消息,而消费者处理消息的速度较慢或者消费者挂了的时候,导致消息在队列中积累并达到队列的存储上限。解决方案有两种:
- 增加更多消费者,提高消费速度:通过水平扩展消费者的数量,提高消息的处理速度,从而减少消息在队列中的滞留时间。
- 扩大队列容积,提高堆积上限:如果要提升队列容积,只把消息保存在内存中显然是不行的。可以使用惰性队列,惰性队列接收到消息后直接存入磁盘而非内存,消费者要消费消息时才会从磁盘中读取并加载到内存。
4. 如何保证消息的可靠性
4.1 生产者丢失消息:生产者发送消息由于网络等原因并没有发送到RabbitMq,或者消息发送到RabbitMq,但是没有找到指定的交换机或者没有匹配到对应的消息队列时,这时就会造成消息的丢失。
解决方案:
- 消息确认机制:在生产者创建的channel上开启确认模式,并在channel上添加监听,通过回调channel.addConfirmListener()函数来创建一个ConfirmListener。如果Broker收到消息,则会给生产者返回一个应答结果,ConfirmListener监听到broker的应答结果,根据具体的应答结果对消息进行重新发送,或记录日志等后续处理。
- 消息返回机制:对于一些不可达的消息,broker会返回一个信号通知生产端,如果消息可达,则不会返回任何信号。通过在channel上添加channel.addReturnListener()函数来创建一个ReturnListener,用于监听不可达的消息,然后进行后续的处理。
4.2 broker消息中间件自身丢失消息:RabbitMq收到生产者的消息后还没有来得及持久化到磁盘,又或者创建队列没有持久化以及消息并没有设置为持久化,在Mq故障宕机后都会有消息丢失的情况。
解决方案:
- 做持久化设置:在创建队列以及发送消息的时候同时设置队列持久化和消息持久化。
4.3 consumer消费者丢失消息:消费者自动ack配置情况下,业务代码异常或者其他故障消息并没有处理完成也会自动ack,从而导致消息丢失。
解决方案:
- 设置手动确认:消费者在声明队列时,设置autoAck=false,RabbitMQ就会等待消费者显式返回ack信号后才从队列中移去消息。消费者成功处理消息后,手动调用void basicAck(long deliveryTag, boolean multiple)方法通知broker该消息已经消费成功。消息处理失败后,通过回调void basicNack(long deliveryTag, boolean multiple, boolean requeue)方法或者void basicReject(long deliveryTag, boolean requeue)方法通知broker该消息消费失败。
4.4 消费者手动确认过程中异常:消费端在消费消息过程中出现异常,还没能调用basicAck应答,此时消息将变成unacked状态,并且一直处于队列中。
解决方案:
- 进行异常捕获:对消费者业务处理逻辑进行异常捕获,然后在catch里面调用basicNack方法返回消费失败的ack信息给broker。再将消费失败的消息记录到日志或者数据库中,后续人工进行处理。
4.5 无效消息循环重入队列:如果消费端在消费消息过程中捕获异常,并进行basicNack应答,将消息重新放入队列中,可能会出现无效的消息循环入队列的问题。假设消息或者代码本身有bug,每次处理这个消息都会报异常,那消息将一直处于消费——>报异常——>重入队列——>继续消费——>报异常。。。的死循环过程。
解决方案:
- 禁止消息重入队:当捕获到异常的时候,调用basicNack方法时,通过设置requeue参数为false,消息不会重入队消费。再将消费失败的消息记录到日志或者数据库中,后续人工进行处理。
4.6 broker未接收到ack信息:如果消费端消费完后,调用basicAck应答过程中由于网络中断等原因,未能将ack信息发送到broker时,会导致队列中的消息一直处于unacked状态。
解决方案:
- 在声明队列的时候添加死信队列,当broker一直未收到消费者返回的ack确认信息的消息,那么RabbitMQ消息队列就不清楚这条消息到底有没有被消费成功,就会将这条消息存放到死信队列中。后续再由人工去进行处理。
5. 如何防止消息重复消费
如果消息已经被消费者消费了,只是在消费者返回ack确认信息的时候出现异常,导致ack信息未能发送到broker,从而导致RabbitMQ不清楚这条消息到底有没有被消费成功,消息队列可能会在消费者未确认消息时进行重试,导致消息被重复消费。
解决方案:
- 消费端在消费逻辑处理中做好幂等性,保证同一个消息不被消费者重复消费两次。实现消息幂等性的方案:生产者每次发送消息的时候会生成一个全局唯一的id放到信息中,每次消费消息之前根据这个全局id去查询db或者redis中是否存在该id的消息信息,如果有,则说明该消息已经消费过,直接返回不再做后续处理;如果没有,则说明该消息未被消费过,继续进行后续业务处理,处理成功之后再将该全局id插入到bd或者redis中。
相关文章:
RabbitMQ 常见问题
1. 如何保证消息顺序消费 在RabbitMQ中,消息最终会保存在队列中,在同一个队列中,消息是顺序的,保持先进先出的原则,这个由Rabbitmq保证。而不同队列中的消息,RabbitMQ 是无法保证其顺序性。顺序消费主要是…...
阶段二-Day10-日期类
日期类结构: 1.java.util.Date是日期类 2.DateFormat是日期格式类、SimpleDateFormat是日期格式类的子类 Timezone代表时区 3.Calendar是日历类,GregorianCalendar是日历的子类 一. 常用类-Date 1.1 Date构造方法 Date(long date) 使用给定的毫秒时间价值构建…...
多任务并行处理相关面试题
我自己面试时被问过两次多任务并行相关的问题: 假设现在有10个任务,要求同时处理,并且必须所有任务全部完成才返回结果 这个面试题的难点是: 既然要同时处理,那么肯定要用多线程。怎么设计多线程同时处理任务呢&…...
Shell脚本学习笔记
1. 写在前面 工作中,需要用到写一些shell脚本去完成一些简单的重复性工作, 于是就想系统的学习下shell脚本的相关知识, 本篇文章是学习shell脚本整理的学习笔记,内容参考主要来自C语言中文网, 学习过程中,…...
ROS-安装xacro
安装 运行下列命令进行安装,xxxxxx处更改为自己的版本 sudo apt-get install ros-xxxxxx-xacro运行 输入下列命令 roscd xacro如果没有报错,并且进入了xacro软件包的目录,则表示安装成功。 参考: [1]https://wenku.csdn.net/ans…...
为什么说 $mash 是 Solana 上最正统的铭文通证?
早在 2023 年的 11 月,包括 Solana、Avalanche、Polygon、Arbitrum、zkSync 等生态正在承接比特币铭文生态外溢的价值。当然,因铭文赛道过于火爆,当 Avalanche、BNB Chain 以及 Polygon 等链上 Gas 飙升至极值,Arbitrum、zkSync 等…...
安装elasticsearch、kibana、IK分词器、扩展IK词典
安装elasticsearch、kibana、IK分词器、扩展IK词典 后面还会安装kibana,这个会提供可视化界面方面学习。 需要注意的是elasticsearch和kibana版本一定要一样!!! 否则就像这样 elasticsearch 1、创建网络 因为我们还需要部署k…...
Spring中常见的BeanFactory后处理器
常见的BeanFacatory后处理器 先给出没有添加任何BeanFactory后处理器的测试代码 public class TestBeanFactoryPostProcessor {public static void main(String[] args) {GenericApplicationContext context new GenericApplicationContext();context.registerBean("co…...
FPGA LCD1602驱动代码 (已验证)
一.需求解读 1.需求 在液晶屏第一行显示“HELLO FPGA 1234!” 2. 知识背景 1602 液晶也叫 1602 字符型液晶,它是一种专门用来显示字母、数字、符号等的点阵 型液晶模块。它由若干个 5X7 或者 5X11 等点阵字符位组成,每个点阵字符位都可以显示一 个字符,每位之间有一个点距的…...
c++编程要养成的好习惯
1、缩进 你说有缩进看的清楚还是没缩进看的清楚 2、i和i i运行起来和i更快 3、 n%20和n&1 不要再用n%20来判断n是不是偶数了,又慢又土,用n&10,如果n&10就说明n是偶数 同理,n&11说明n是奇数 4、*2和<<…...
后台管理项目的多数据源方案
引言 在互联网开发公司中,往往伴随着业务的快速迭代,程序员可能没有过多的时间去思考技术扩展的相关问题,长久下来导致技术过于单一。为此最近在学习互联网思维,从相对简单的功能开始做总结,比如非常常见的基础数据的…...
视频美颜SDK趋势畅想:未来发展方向与应用场景
当下,视频美颜SDK正不断演进,本文将深入探讨视频美颜SDK的发展趋势,探讨未来可能的方向和广泛的应用场景。 1.深度学习与视频美颜的融合 未来,我们可以期待看到更多基于深度学习算法的视频美颜SDK,为用户提供更高质量…...
C++ const 限定符的全面介绍
C const 限定符的全面介绍 1. const 修饰基本数据类型 定义 const 修饰的基本数据类型变量,值不可改变。 语法 const type variable value;特点 不可变性,增加代码可读性。 作用 定义不可修改的常量。 使用场景 全局常量、配置项。 注意事项…...
Vue 中的 ref 与 reactive:让你的应用更具响应性(上)
🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…...
华为云CCE-集群内访问-根据ip访问同个pod
华为云CCE-集群内访问-根据ip访问同个pod 问题描述:架构如下:解决方法: 问题描述: 使用service集群内访问时,由于启用了两个pod,导致请求轮询在两个pod之间,无法返回正确的结果。 架构如下&am…...
Kasada p.js (x-kpsdk-cd、x-kpsdk-ct、integrity)
提供x-kpsdk-cd的API服务 详细请私信~ 可试用~ V:zhzhsgg 一、简述 integrity是通过身份验证Kasada检测机器人流量后获得的一个检测结果(数据完整性) x-kpsdk-cd 是经过编码计算等等获得。当你得到正确的解决验证码值之后,解码会看到如下图…...
Thinkphp 5框架学习
TP框架主要是通过URL实现操作 http://servername/index.php/模块/控制器/操作/参数/值.. index.php 为入口文件,在 public 目录内的 index.php 文件; 模块在 application 目录下默认有一个 index 目录,这就是一个模块; 而在 index 目录下有一个 contro…...
麒麟云增加计算节点
一、安装基座系统并配置好各项设置 追加的计算节点服务器,安装好系统,把主机名、网络网线(网线要和其他网线插的位置一样)、hosts这些配置好,在所有节点的/etc/hosts里面添加信息 在控制节点添加/kylincloud/multinod…...
使用Redis进行搜索
文章目录 构建反向索引 构建反向索引 在Begin-End区域编写 tokenize(content) 函数,实现文本标记化的功能,具体参数与要求如下: 方法参数 content 为待标记化的文本; 文本标记的实现:使用正则表达式提取全小写化后的…...
Oracle修改用户密码
文章目录 Oracle修改用户密码Oracle用户锁定常见的两种状态Oracle用户锁定和解锁 Oracle修改用户密码 使用sys或system使用sysdba权限登录,然后执行以下命令修改密码: alter user 用户名 identified by 密码;密码过期导致的锁定,也通过修改…...
LeetCode解法汇总1276. 不浪费原料的汉堡制作方案
目录链接: 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目: https://github.com/September26/java-algorithms 原题链接:力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 描述: 圣诞活动预…...
Vue解决跨域问错误:has been blocked by CORS policy 后端跨域配置
解决跨域问题后端跨域配置代码: /*** 作者 hua* 描述 跨域配置*/ Configuration public class WebConfiguration implements WebMvcConfigurer {/*** 跨域配置对象* return CorsConfiguration对象*/private CorsConfiguration corsConfig() {CorsConfiguration cor…...
【谷歌云】注册谷歌云 创建Compute Engine
文章目录 一、Google Cloud注册1.1 账号信息1.2 付款信息验证1.3 验证成功 二、Compute Engine创建2.1 启动Compute Engine API2.2 创建实例2.3 新建虚拟机实例2.4 等待实例创建完成2.5 查看虚拟机配置信息2.6 创建防火墙规则2.7 SSH远程连接虚拟机 三、参考链接 一、Google Cl…...
面试数据库八股文五问五答第四期
面试数据库八股文五问五答第四期 作者:程序员小白条,个人博客 相信看了本文后,对你的面试是有一定帮助的! ⭐点赞⭐收藏⭐不迷路!⭐ 1)什么情况下 mysql 会索引失效? 不使用索引列进行查询&a…...
2023 年中国金融级分布式数据库市场报告:TiDB 位列领导者梯队,创新能力与增长指数表现突出
近日,沙利文联合头豹研究院发布了中国数据库系列报告之《2023 年中国金融级分布式数据库市场报告》。 报告认为,金融行业对于分布式数据库信任度与认可度正在逐步提高,中国金融级分布式数据库市场正处于成熟落地的高增长阶段,行业…...
基于ExoPlayer的缓存方案实现
音视频APP 的一个必备功能就是在播放的时候会持续缓存完整个音频,同时进度条会更新缓存进度。但是目前Google推出的播放器ExoPlayer本身并没有提供什么方便的接口去实现这个功能,因此大多数的开发者可能会使用AndroidVideoCache 开源库来实现缓存。 AndroidVideoCache 的原理…...
前缀和算法 -- 寻找数组的中心坐标
个人主页:Lei宝啊 愿所有美好如期而遇 本题链接 力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 输入描述 给定一个数组,接口为int pivotIndex(vector<int>& nums) 输出描述 我们以示例1为例画图解释…...
autograd与逻辑回归
一、autograd—自动求导系统 torch.autograd.backward() torch.autograd.backward()是PyTorch中用于计算梯度的函数。以下是对该函数的参数的解释: 功能:自动求取梯度 • tensors: 用于求导的张量,如 loss • retain_graph : 保存计算图 •…...
Xshell 从github克隆项目:使用ssh方式。
接上文: https://blog.csdn.net/liu834189447/article/details/135247868 是能克隆项目了,但是速度太磕碜了,磕碜到难以直视。 找到另外一种办法,使用SSH克隆项目 速度嘎嘎猛。 首先得能进得去github网站,不能点上边…...
C++:通过erase删除map的键值对
map是经常使用的数据结构,erase可以删除map中的键值对。 可以通过以下几种方式使用erase 1.通过迭代器进行删除 #include <iostream> #include <map> #include <string> using namespace std;void pMap(const string& w, const auto& m) {cout&l…...
wordpress get_post_thumbnail/关键词优化排名怎么做
方案一: 窗体属于类,可以在窗体类中定义已全局变量,类型为公开、静态的。示例: public static string str "";注意是静态变量,如果为:public string str "";可能会出现问题࿰…...
设计师网站推荐/我要推广网
使用环境(蓝色粗体字为特别注意内容) 1、软件环境:Keil MDK 5.15 2、硬件环境:STM32F103C8T6最小系统 在项目中打算用基本定时器6作为延时定时器,编译发现报错:main.c(77): error: #20: identifier "RCC_APB1ENR_TIM6EN&qu…...
godaddy如何创建网站/最大免费广告发布平台
选课系统6. 创建数据库创建数据库设置编码为UTF8CREATE DATABASE choose CHARSET utf8;6.1 创建班级表表名:classes字段:class_no 整型 自增长 主键 -- 班级编号class_name char(20) 非空 唯一 -- 班级名称department_name char(20) 非空 -- 院系名称create tableclasses(cl…...
深圳建设工程交易服务网站/线上销售渠道有哪些
ImageMagick是一套功能强大、稳定而且开源的工具集和开发包,可以用来读、写和处理超过89种基本格式的图片文件,包括流行的TIFF、JPEG、GIF、 PNG、PDF以及PhotoCD等格式。利用ImageMagick,你可以根据web应用程序的需要动态生成图片, 还可以对…...
数字媒体艺术网站建设/东莞网络推广优化排名
前言 最近很久没有写博客了,一方面是因为公司事情最近比较忙,另外一方面是因为在进行 CAP 的下一阶段的开发工作,不过目前已经告一段落了。 接下来还是开始我们今天的话题,说说分布式事务,或者说是我眼中的分布式事务&…...
做网站电话销售/关键字查找
http://blog.csdn.net/sfbirp/archive/2010/05/19/5609725.aspx转载于:https://www.cnblogs.com/Rising/archive/2010/06/28/1766795.html...