RabbitMQ系统监控、问题排查和性能优化实践
一、系统监控:RabbitMQ的各项性能指标及监控
- Message Rates:消息率包含了publish,deliver/get,ack等方面的数据,反映了消息在系统中流转的情况。
- Queue Length:队列长度反映了系统当前的负载情况。如果队列中的消息过多,可能需要增加消费者来处理消息,或者检查消费者是否出现问题。
- Memory Usage:内存使用量可以反应RabbitMQ节点的消耗情况,如果内存使用高,则需要检查是否有资源泄露或因处理大量消息产生的压力。
- Disk Usage:磁盘使用情况,反映消息持久化的存储压力。
你可以使用RabbitMQ Manager来查看以上数据,在管理界面中它提供了实时的图形化数据展示。此外,RabbitMQ也提供了HTTP API,可以通过编程的方式获取这些数据。
二、问题定位:常见的RabbitMQ问题及解决办法
- 队列积压:积压的问题一般是因为消费者处理消息的速度跟不上生产者的产生速度。可以通过增加消费者,或者优化消费者的处理逻辑,提升其消费速度。
- 资源过载:如果RabbitMQ的CPU或内存消耗过高,可能是因为处理的消息量过大,或者存在程序的资源泄露。需要结合具体的监控数据,进行具体的优化。
- 网络问题:RabbitMQ依赖于网络连接,如果出现网络问题,可能会引发一系列的问题。可以通过查看RabbitMQ的日志,定位具体的问题。
三、性能优化:提升RabbitMQ性能的建议和技巧
- 合理设置队列长度和消息过期时间:长队列和过多的过期消息会影响RabbitMQ的性能。可以设置队列的长度限制,合理设定TTL,过期的消息会自动被删除,从而节省内存。
- 使用持久化:如果需要保证消息的可靠性,应将消息、队列和交换器设置为持久化的。但请注意,持久化会有一定的性能开销。
- 合理设置Prefetch Count:Prefetch Count决定了消费者从队列中预取的消息数量,适当的预取可以降低消费者的确认延迟,从而提高消费的吞吐量。但设置过大也会消耗更多的内存。
- 使用批确认提高性能:每次消息的确认都会带来一次网络往返的开销,一种提升性能的方式就是使用批量确认。消费者可以等待多条消息后再发送一次确认,从而提高效率。
四、常见问题及解决样例:在 RabbitMQ 中,Channel与队列的映射和消息确认消费的方式非常重要。下面展示如何在Spring Boot中设置。
@Autowired
private ConnectionFactory connectionFactory;@Bean
public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory() {SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();factory.setConnectionFactory(connectionFactory);factory.setConcurrentConsumers(3);factory.setMaxConcurrentConsumers(5);factory.setAcknowledgeMode(AcknowledgeMode.AUTO); return factory;
}
在上面的代码中,setConcurrentConsumers(3)设置了并发消费者的初始值为3,setMaxConcurrentConsumers(5)设置了最大的并发消费者数为5,setAcknowledgeMode(AcknowledgeMode.AUTO)设置了消息确认消费的方式为自动确认。
五、监控样例: 您可以使用 Actuator 提供的 /actuator/health EndPoint 来检查RabbitMQ的健康状态。
在SpringBoot的pom.xml添加如下配置:
xml
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
启动SpringBoot应用后,我们可以通过访问http://localhost:8080/actuator/health
来查看 RabbitMQ的健康状态。
六、性能优化样例:在 Spring Boot 中,我们也可以设置预取和确认模式来提高 RabbitMQ 的性能。预获取是指 RabbitMQ 会一次性推送多条消息给消费者,手动确认模式替代了自动确认模方式,可以防止消息丢失。
java
@Bean
public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory() {SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();factory.setConnectionFactory(connectionFactory);factory.setPrefetchCount(10); // 设置预取数量为10factory.setAcknowledgeMode(AcknowledgeMode.MANUAL); // 手动确认模式return factory;
}
在上面的代码中,factory.setPrefetchCount(10)设置了预取数量为10,factory.setAcknowledgeMode(AcknowledgeMode.MANUAL)设置了手动确认模式。在使用手动确认模式时,需要在消费者的方法中添加 Channel 参数,并调用 channel.basicAck 方法来确认消息:
java
@RabbitListener(queues = "myqueue")
public void handleMessage(Message message, Channel channel) throws Exception {try {// Do some workchannel.basicAck(deliveryTag, false); } catch (Exception e) {channel.basicNack(deliveryTag, false, true); }
}
在上面的代码中,如果处理消息的逻辑抛出异常,我们需要调用 channel.basicNack 方法来拒绝消息,并设置 requeue 为 true,这样 RabbitMQ 会再次将这条消息推送给消费者。
相关文章:
RabbitMQ系统监控、问题排查和性能优化实践
一、系统监控:RabbitMQ的各项性能指标及监控 Message Rates:消息率包含了publish,deliver/get,ack等方面的数据,反映了消息在系统中流转的情况。Queue Length:队列长度反映了系统当前的负载情况。如果队列…...
【华为OD机试】根据IP查找城市(贪心算法—JavaPythonC++JS实现)
本文收录于专栏:算法之翼 本专栏所有题目均包含优质解题思路,高质量解题代码(Java&Python&C++&JS分别实现),详细代码讲解,助你深入学习,深度掌握! 文章目录 一. 题目二.解题思路三.题解代码Python题解代码JAVA题解代码C/C++题解代码JS题解代码四.代码讲解(Ja…...
css:阴影效果box-shadow
属性 box-shadow 属性值由四个参数组成: 水平偏移量:表示阴影相对于元素的水平位置。垂直偏移量:表示阴影相对于元素的垂直位置。模糊度:表示阴影的模糊程度。颜色:表示阴影的颜色 示例 单个box-shadow 0px -2px 6p…...
Scala第十九章节(Actor的相关概述、Actor发送和接收消息以及WordCount案例)
Scala第十九章节 章节目标 了解Actor的相关概述掌握Actor发送和接收消息掌握WordCount案例 1. Actor介绍 Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。 1.1 Java并发编程的问题 在Java并…...
蓝桥杯杯赛之深度优先搜索优化《1.分成互质组》 《 2.小猫爬山》【dfs】【深度搜索剪枝优化】【搜索顺序】
文章目录 思想例题1. 分成互质组题目链接题目描述【解法一】【解法二】 2. 小猫爬山题目链接题目描述输入样例:输出样例:【思路】【WA代码】【AC代码】 思想 本质为两种搜索顺序: 枚举当前元素可以放入哪一组枚举每一组可以放入哪些元素 操…...
软件设计原则:依赖倒置
定义 依赖倒置原则(Dependency Inversion Principle, DIP)是面向对象设计原则之一,其核心是高层模块(如业务逻辑)不应当依赖于低层模块(如具体的数据访问或设备控制实现),而是双方都…...
03-自媒体文章发布
自媒体文章发布 1)自媒体前后端搭建 1.1)后台搭建 ①:资料中找到heima-leadnews-wemedia.zip解压 拷贝到heima-leadnews-service工程下,并指定子模块 执行leadnews-wemedia.sql脚本 添加对应的nacos配置 spring:datasource:driver-class-name: com…...
Oracle中实现一次插入多条数据
一、需求描述 在我们实际的业务场景中,由于单条插入的效率很低(每次都需要数据库资源连接关闭的开销),故需要实现一次性插入多条数据,用以提升数据插入的效率; 如下图是常见的单条插入数据: 二…...
【C++入门】关键字、命名空间以及输入输出
💞💞 前言 hello hello~ ,这里是大耳朵土土垚~💖💖 ,欢迎大家点赞🥳🥳关注💥💥收藏🌹🌹🌹 💥个人主页&#x…...
初识MySQL(中篇)
使用语言 MySQL 使用工具 Navicat Premium 16 代码能力快速提升小方法,看完代码自己敲一遍,十分有用 目录 1.SQL语言 1.1 SQL语言组成部分 2.MySQL数据类型 2.1 数值类型 2.2 字符串类型 2.3 日期类型 3.创建数据表 3.1 创建数据表方法1 …...
前端订阅后端推送WebSocket定时任务
0.需求 后端定时向前端看板推送数据,每10秒或者30秒推送一次。 1.前言知识 HTTP协议是一个应用层协议,它的特点是无状态、无连接和单向的。在HTTP协议中,客户端发起请求,服务器则对请求进行响应。这种请求-响应的模式意味着服务器…...
提高机器人系统稳定性:引入阻尼作为共振后的相位超前
在机器人关节中,引入阻尼作为共振后的相位超前,确实是一种提高系统稳定性的有效策略。机器人关节的振动和共振是影响其性能稳定性的关键因素,特别是在进行高速、高精度操作时。阻尼的引入能够显著减少这些不利因素,提升机器人的整…...
深度学习理论基础(三)封装数据集及手写数字识别
目录 前期准备一、制作数据集1. excel表格数据2. 代码 二、手写数字识别1. 下载数据集2. 搭建模型3. 训练网络4. 测试网络5. 保存训练模型6. 导入已经训练好的模型文件7. 完整代码 前期准备 必须使用 3 个 PyTorch 内置的实用工具(utils): ⚫…...
vue3+eachrts饼图轮流切换显示高亮数据
<template><div class"charts-box"><div class"charts-instance" ref"chartRef"></div>// 自定义legend 样式<div class"charts-note"><span v-for"(items, index) in data.dataList" cla…...
UTONMOS:AI+Web3+元宇宙数字化“三位一体”将触发经济新爆点
人工智能、元宇宙、Web3,被称为数字化的“三位一体”,如何看待这三大技术所扮演的角色? 3月24日,2024全球开发者先锋大会“数字化的三位一体——人工智能、元宇宙、Web3.0”论坛在上海漕河泾开发区举行,首次提出&…...
开始焦虑了
大家好,我是洋子,25届的暑期实习自从3月份开始招聘有一段时间了,最近接到了几个25届同学的咨询,其中一个学妹印象比较深刻,她的情况如下 个人情况 学历是双非本,计算机专业,学习方向是Java&…...
数据结构和算法:十大排序
排序算法 排序算法用于对一组数据按照特定顺序进行排列。排序算法有着广泛的应用,因为有序数据通常能够被更高效地查找、分析和处理。 排序算法中的数据类型可以是整数、浮点数、字符或字符串等。排序的判断规则可根据需求设定,如数字大小、字符 ASCII…...
LLaMA-Factory微调(sft)ChatGLM3-6B保姆教程
LLaMA-Factory微调(sft)ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory下载ChatGLM3-6B下载ChatGLM3windows下载CUDA ToolKit 12.1 (本人是在windows进行训练的,显卡GTX 1660 Ti) CUDA安装完毕后,…...
Web安全-浏览器安全策略及跨站脚本攻击与请求伪造漏洞原理
Web安全-浏览器安全策略及跨站脚本攻击与请求伪造漏洞原理 Web服务组件分层概念 静态层 :web前端框架:Bootstrap,jQuery,HTML5框架等,主要存在跨站脚本攻击脚本层:web应用,web开发框架,web服务…...
蓝桥杯B组C++省赛——飞机降落(DFS)
题目连接:https://www.lanqiao.cn/problems/3511/learning/ 思路:由于数据范围很小,所有选择用DFS枚举所有飞机的所有的降落顺序,看哪个顺序可以让所有飞机顺利降落,有的话就算成功方案,输出了“YES”。 …...
Java 中的 Map集合
文章目录 添加和修改元素获取元素检查元素删除元素获取所有键 / 值 / 键值对大小 在 Java 中,Map 接口是 Java 集合框架的一部分,它存储键值对(key-value pairs)。Map 接口有许多常用的方法,用于添加、删除、获取元素&…...
基于springboot大学生兼职平台管理系统(完整源码+数据库)
一、项目简介 本项目是一套基于springboot大学生兼职平台管理系统 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 该系统功能完善、界面美观、操作简单、功…...
C#学生信息管理系统
一、引言 学生信息管理系统是现代学校管理的重要组成部分,它能够有效地管理学生的基本信息、课程信息、成绩信息等,提高学校管理的效率和质量。本文将介绍如何使用SQL Server数据库和C#语言在.NET平台上开发一个学生信息管理系统的课程设计项目。 二、项…...
双机 Cartogtapher 建图文件配置
双机cartogtapher建图 最近在做硕士毕设的最后一个实验,其中涉及到多机建图,经过调研最终采用cartographer建图算法,其中配置多机建图的文件有些麻烦,特此博客以记录 非常感谢我的同门 ”叶少“ 山上的稻草人-CSDN博客的帮助&am…...
VMware提示 该虚拟机似乎正在使用中,如何解决?
VMware提示 该虚拟机似乎正在使用中,如何解决? 问题描述解决方法1.找到安装VMware的文件目录2.在VMware目录下.lck后缀的文件夹删除或重命名3.运行VMware 问题描述 该虚拟机似乎正在使用中。 如果该虚拟机未在使用,请按“获取所有权(T)”按钮获取它的所…...
阿里云短信服务业务
一、了解阿里云用户权限操作 1.注册账号、实名认证; 2.使用AccessKey 步骤一 点击头像,权限安全的AccessKey 步骤二 设置子用户AccessKey 步骤三 添加用户组和用户 步骤四 添加用户组记得绑定短信服务权限 步骤五 添加用户记得勾选openApi访问 添加…...
ElasticSearch的DSL查询
ElasticSearch的DSL查询 准备工作 创建测试方法,初始化测试结构。 import org.apache.http.HttpHost; import org.apache.lucene.search.TotalHits; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchRespo…...
每天定时杀spark进程
##编写shell脚本 #!/bin/bash arr(“zhangsan” “lisi” “wangwu”) for i in “${arr[]}” do processps -ef|grep ${i}| grep -v "grep"| awk {print $2} kill -9 ${process} done ##每日定时杀手动启动的进程 0 19 * * * cd /kill_process && sh kil…...
win10 安装kubectl,配置config连接k8s集群
安装kubectl 按照官方文档安装:https://kubernetes.io/docs/tasks/tools/install-kubectl-windows/ curl安装 (1)下载curl安装压缩包: curl for Windows (2)配置环境变量: 用户变量: Path变…...
Calico IPIP和BGP TOR的数据包走向
IPIP Mesh全网互联 文字描述 APOD eth0 10.7.75.132 -----> APOD 网关 -----> A宿主机 cali76174826315网卡 -----> Atunl0 10.7.75.128 封装 ----> Aeth0 10.120.181.20 -----> 通过网关 10.120.181.254 -----> 下一跳 BNODE eth0 10.120.179.8 解封装 --…...
广东省网站开发建设/百度推广后台登录入口官网
工厂模式的实现方式和原理都不难理解和掌握。但是,在学习完之后,发现网上给的例子,根本体现不了工厂模式的作用。先不说存在有的例子本身就是错误的,主要是例子中的代码太简单,可以说没必要用工厂模式,只不…...
网站建设需求报告/企业公司网站建设
严蔚敏《数据结构(c语言版)习题集》(包括基础部分).doc 线性表第1章绪论11简述下列术语数据,数据元素、数据对象、数据结构、存储结构、数据类型和抽象数据类型。解数据是对客观事物的符号表示。在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总…...
大鹏网站建设建站好不好/百度网址收录入口
最近在学习java数据结构和算法,每个重点知识我都会以 “思想原理 代码 总结” 的方式写一篇博客,方便自己以后复习,并分享给大家。如有问题,欢迎指出。 下图是一个二维数组所对应的稀疏数组: 映射关系:…...
哈尔滨疫情最新消息今天新增/seo搜索引擎优化业务
策略模式 class Context { public:Strategy strategy;Context (Strategy& strategy){this.strategy strategy;}void ContextInterface(){strategy.AlgorithmInterface();} }装饰模式 把类中的装饰功能从类中搬移去除,这样可以简化原有的类。把每个要装饰的功能…...
wordpress 性能问题/网址最全的浏览器
原文链接:http://www.blogjava.net/Steven-bot/articles/361333.html 参考链接:http://blog.csdn.net/wxwzy738/article/details/19072909 问题:部署项目后程序加载或用浏览器访问时出现类似的警告,2011-01-19 10:52:51,646 WAR…...
网站建设首先/青岛网络优化代理
下载FileTool VisualC中,单击“工具”菜单中“自定义”; 在“自定义”对话框中, 单击“Add - Ins and 宏文件”选项卡; 单击“浏览”按钮并定位到解压生成的FileTool.dll 文件; 单击“确定”保存设置。 转载于:https://www.cnblo…...