当前位置： 首页 > news >正文

RocketMQ重复消费的症状以及解决方案

news 文章来源：https://blog.csdn.net/m0_37996629/article/details/129446453 2024/12/17 4:37:46

RocketMQ重复消费的症状以及解决方案

生产消息时重复

症状

当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
在这里插入图片描述

方案

  • 避免消费重复产生，找到原因，并做代码的限制。
  • 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。
  • 消费数据时，通过订阅的记录和消费的结果来判断，此消息是否重复订阅过，如果重复订阅，则不在数据库中插入数据。

消费消息时重复

症状

消息已投递到 消费者 并完成业务处理，当 消费者 给 MQ 反馈应答的时候网络闪断。 为了保证消息至少被消费一次，消息队列 MQ 的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
在这里插入图片描述

方案

  • 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。

消费时出现异常

症状

消息已投递到 消费者 并完成 业务A 处理，但是 业务B 处理时，发生异常，造成该条消息会标记 消费失败 ，那么为了保证消息至少被消费一次，该条消息会消费多次，直到达到消费16次，会自动放入死信队列。
在这里插入图片描述

方案

  • 分布式事务锁（一般是zookeeper和redis搭建）

相关文章：

RocketMQ重复消费的症状以及解决方案

RocketMQ重复消费的症状以及解决方案 生产消息时重复 症状 当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者…...

编程日记 2023/3/11 3:17:33

数字化时代，企业的商业模式建设

随着新一代信息化、数字化技术的应用，众多领域通过科技革命和产业革命实现了深度化的数字改造，进入到以数据为核心驱动力的，全新的数据处理时代，并通过业务系统、商业智能BI等数字化技术和应用实现了数据价值，从数字经…...

编程日记 2023/3/11 3:16:29

项目实战典型案例23——-注册上nacos上的部分服务总是出现频繁掉线的情况

注册上nacos上的部分服务总是出现频繁掉线的情况一：背景介绍二：思路&方案解决问题过程涉及到的知识nacos服务注册和服务发现一：背景介绍 spring cloud项目通过nacos作为服务中心和配置中心，出现的问题是其中几个服务总是出现…...

编程日记 2023/3/11 3:15:26

玩转金山文档 3分钟让你的文档智能化

在上个月底，我们给大家推荐了金山轻维表的几个使用场景，社群中不少用户反响很好，对其中一些场景的解决方案十分感兴趣。但也有一些人表示，有些场景不知道如何实现，希望我们能提供模版/教程。这次我们将做一期热门模板盘…...

编程日记 2023/3/11 3:14:21

安装了nodejs怎么安装nvm

第一步，从控制面板卸载已经安装的node 第二步，删除C盘program开头文件夹下的node文件 第三步，去C/user/用户名 文件夹下，删除.npmrc文件 第四步，打开隐藏文件，第三步文件夹下有一个Appdata文件&#xff…...

编程日记 2023/3/11 3:13:17

java安全编码规范考试

java安全编码规范考试 整理不易，收点币！！ 安全编码规范考试.md 下面对zip文件的安全解压缩描述，错误的是 A.zip文件解压时，可以使用entry.getSize(）对解压缩文件进行文件大小判断 B.zip文件解压时&…...

编程日记 2023/3/11 3:12:14

表格检测识别技术的发展历程

近年来，随着计算机技术的飞速发展，越来越多的研究者开始关注表格检测识别技术。表格检测识别技术是一种利用计算机自动处理表格的技术，它可以实现从文本中检测出表格，并进行识别和提取。这种技术有助于提高文本处理的效率&#xf…...

编程日记 2023/3/11 3:11:11

设计UI - Adobe xd对象介绍

矩形工具 新建矩形 操作步骤：选择矩形工具，快捷键R，鼠标在画板上拖出矩形即可。 拖动定界框周围圆形手柄，可快速调整矩形大小，也可以输入宽和高的参数对矩形大小进行改变。 移动矩形 操作步骤：选择选择工具…...

编程日记 2023/3/11 3:10:09

优思学院｜精益生产中的“单件流”真的能够做到吗？

精益生产中提到的“一个流”（One Piece Flow）是一种生产方式，它的核心理念是通过合理配置作业场地、人员和设备，使产品从投入到成品产出的整个制造加工过程中始终处于不停滞、不堆积、不超越，按节拍一个一个地流动。 …...

编程日记 2023/3/11 3:09:02

移除元素问题解决方法------LeetCode-OJ题

问题： 给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素，并返回移除后数组的新长度。 要求： 不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并 原地 修改输入数组。 元素的顺序可以改…...

编程日记 2023/3/11 3:08:01

JavaScript学习笔记（1.0）

push() 语法：数组.push(数据) 作用：将数据追加到数组的末尾 返回值：追加数据后数组最新的长度 pop() 语法：数组.pop() 作用：删除数组最后一个数据 返回值：被删除的数据 unshift() 语法：数…...

编程日记 2023/3/11 3:06:58

FCN网络介绍

目录前言一.FCN网络二.网络创新点前言 在图像分割领域，有很多经典的网络，如MASK R-CNN，U-Net，SegNet，DeepLab等网络都是以FCN为基础进行设计的。我们这里简单介绍一下这个网络。 一.FCN网络 FCN网络介绍   FCN 即全…...

编程日记 2023/3/11 3:05:52

Idea+maven+spring-cloud项目搭建系列--11 整合dubbo

前言： 微服务之间通信框架dubbo，使用netty （NIO 模型）完成RPC 接口调用； 1 dubbo 介绍： Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提…...

编程日记 2023/3/11 3:04:49

2023年上半年北京杭州/广州深圳软考中/高级报名入口

软考是全国计算机技术与软件专业技术资格（水平）考试（简称软考）项目，是由国家人力资源和社会保障部、工业和信息化部共同组织的国家级考试，既属于国家职业资格考试，又是职称资格考试。 系统集成…...

编程日记 2023/3/11 3:03:46

jupyter notebook配置和使用

简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 参考博客：https://zhuanlan.zhihu.com/p/33105153 特点 ①编程时具有语法高亮、缩进、tab补全的功能。 ② 可直接通过浏览器…...

编程日记 2023/3/11 3:02:43

【C++】通过stack、queue、deque理解适配器模式

破镜不能重圆，枯木可以逢春。 文章目录一、stack1.stack的介绍2.stack相关OJ题（巧妙利用stack数据结构的特征）3.stack的模拟实现二、queue1.queue的介绍2.queue的相关OJ题（巧妙利用queue数据结构的特征）3.queue的模拟实…...

编程日记 2023/3/11 3:01:40

JavaScript 高级实例集合

文章目录JavaScript 高级实例集合创建一个欢迎 cookie简单的计时另一个简单的计时在一个无穷循环中的计时事件带有停止按钮的无穷循环中的计时事件使用计时事件制作的钟表创建对象的实例创建用于对象的模板JavaScript 高级实例集合 创建一个欢迎 cookie 源码 <!DOCTYPE ht…...

编程日记 2023/3/11 3:00:38

Flutter（五）容器类组件

布局类组件包含多个子组件&#xff0c;而容器类组件只包含一个子组件 目录填充&#xff08;Padding&#xff09;装饰容器&#xff08;DecoratedBox&#xff09;变换&#xff08;Transform&#xff09;Transform.translate 平移Transform.rotate 旋转Transform.scale 缩放Rotate…...

编程日记 2023/3/11 2:59:36

实现满屏品字布局

html, body {width: 100%;height: 100%;}.first {width: 50%;height: 50%;margin: auto;background-color: pink;}.second {width: 50%;height: 50%;float: left;background-color: greenyellow;}.third {width: 50%;height: 50%;float: left;background-color: yellow;}...

编程日记 2023/3/11 2:58:33

软件测试-性能测试-基础知识

文章目录 1.性能测试理论1.1 相关概念1.2 性能测试指标2.性能测试策略2.1 基准测试2.2 负载测试2.3 稳定性测试2.4 其他测试策略3.性能测试的流程3.1 需求分析3.2 编写性能测试计划和方案3.3 编写性能测试用例3.4 性能测试执行3.5 性能测试报告4.性能测试工具4.1 Loadrunner4.2…...

编程日记 2023/3/11 2:57:30

java多线程与线程池-02线程池与锁

线程池与锁 第4章　线程池入门 4.1　ThreadPoolExecutor ThreadPoolExecutor是应用最广的底层线程池类，它实现了Executor和ExecutorService接口。 4.1.1　创建线程池 下面创建一个线程池，通过调整线程池构造函数的参数来了解线程池的运行特性。把核心线程数设置为3，最大…...

编程日记 2023/3/11 2:56:27

AB测试——流程介绍（设计实验）

前言&#xff1a; 作为AB测试的学习记录&#xff0c;接上文内容&#xff0c; 本文继续介绍假设建立和实验设计部分&#xff0c;包括实验对象、样本量计算&#xff08;显著性水平、统计功效及最小可检测效应&#xff09;、实验周期。 相关文章&#xff1a; AB测试——原理介绍 A…...

编程日记 2023/3/11 2:55:22

C++中的智能指针有哪些？分别解决的问题以及区别？

1.C中的智能指针有4种&#xff0c;分别为&#xff1a;shared_ptr、unique_ptr、weak_ptr、auto_ptr&#xff0c;其中auto_ptr被C11弃用。 2.使用智能指针的原因 申请的空间&#xff08;即new出来的空间&#xff09;&#xff0c;在使用结束时&#xff0c;需要delete掉&#xff0…...

编程日记 2023/3/11 2:54:19

通达信捉妖改良CCI指标公式，简洁巧妙

高端的食材&#xff0c;往往只需要简单的烹饪方式。好的指标也是一样&#xff0c;只需要简单处理&#xff0c;就可以实现不错的效果。捉妖改良CCI指标公式属于意外之喜&#xff0c;编写指标时写错了&#xff0c;研究后发现结果比原想法更好。 捉妖改良CCI指标公式利用了CCI&am…...

编程日记 2023/3/11 2:53:15

「Python 基础」面向对象编程

文章目录1. 面向对象编程类和实例访问限制继承和多态type()isinstance()dir()实例属性和类属性2. 面向对象高级编程\_\_slots\_\_property多重继承定制类枚举类元类1. 面向对象编程 Object Oriented Programming 简称 OOP&#xff0c;一种程序设计思想&#xff0c;以对象为程…...

编程日记 2023/3/11 2:52:13

【K3s】第23篇 一篇文章带你学习k3s私有镜像仓库配置

目录 1、私有镜像仓库配置 2、registries.yaml Mirrors Configs 1、私有镜像仓库配置 可以配置 Containerd 连接到私有镜像仓库，并使用它们在节点上拉取私有镜像。 启动时，K3s 会检查/etc/rancher/k3s/中是否存在registries.yaml文件，并指示 containerd 使...

编程日记 2023/3/11 2:51:11

Redis学习【12】之Redis 缓存

文章目录前言一 Jedis 简介二 使用 Jedis2.1 测试代码2.2 使用 JedisPool2.3 使用 JedisPooled2.4 连接 Sentinel 高可用集群2.5 连接分布式系统2.6 操作事务三 Spring Boot整合Redis3.1 创建工程3.2 定义 pom 文件3.3 完整代码3.4 总结四 高并发问题4.1 缓存穿透4.2 缓存击穿4…...

编程日记 2023/3/11 2:50:09

Bootargs 参数

bootargs 的参数有很多&#xff0c;而且随着 kernel 的发展会出现一些新的参数&#xff0c;使得设置会更加灵活多样1。除了我之前介绍的 root、console、earlyprintk 和 loglevel 之外&#xff0c;还有以下一些常用的参数&#xff1a;init: 用来指定内核启动后执行的第一个程序…...

编程日记 2023/3/11 2:49:04

Mybatis框架源码笔记(七)之Mybatis中类型转换模块(TypeHandler)解析

1、JDBC的基本操作回顾 这里使用伪代码概括一下流程: 对应数据库版本的驱动包自行下载加载驱动类 (Class.forName("com.mysql.cj.jdbc.Driver"))创建Connection连接: conn DriverManager.getConnection("jdbc:mysql://数据库IP:port/数据库名称?useUnico…...

编程日记 2023/3/11 2:48:02

论文阅读《Block-NeRF: Scalable Large Scene Neural View Synthesis》

论文地址&#xff1a;https://arxiv.org/pdf/2202.05263.pdf 复现源码&#xff1a;https://github.com/dvlab-research/BlockNeRFPytorch 概述 Block-NeRF是一种能够表示大规模环境的神经辐射场&#xff08;Neural Radiance Fields&#xff09;的变体&#xff0c;将 NeRF 扩展到…...

编程日记 2023/3/11 2:46:58

山西网站建设/建站公司哪个好

***************************************内存管理**********************************************************栈&#xff1a;1&#xff0c;存储着值类型&#xff08;方法的参数存储在栈中&#xff09;2&#xff0c;高性能3&#xff0c;生存周期必须嵌套&#xff08;缺点&…...

编程日记 2024/12/17 2:32:18

pc下载网站模板/优秀软文范例800字

题名&#xff1a;一号黑体。居中。间距&#xff1a;段前1行。测控技术与仪器专业的认识及学习规划——副标题(自拟)副标题&#xff1a;三号黑体。右对齐。学生相关信息&#xff1a;四号黑体系 部&#xff1a; 防灾仪器系专 业&#xff1a; 测控技术与仪器班 级&#xff1a;学 号…...

编程日记 2024/12/17 0:20:48

水利建设工程网站/seo文章生成器

1.2.2 逻辑存储结构Oracle的逻辑存储结构是从数据库的角度规划出来的架构&#xff0c;既然是在逻辑上进行构建&#xff0c;因此在操作系统上看不到实际的文件&#xff0c;必须通过Oracle工具才能管理作业&#xff0c;例如&#xff0c;Oracle SQL*PLUS、ORACLE Enterprise Mana…...

编程日记 2024/12/16 23:38:22

windows和linux 做网站/廊坊seo整站优化软件

文章目录引言术语:时间复杂度空间复杂度课后题:应用或解答题引言 术语: 数据: 所有被计算机存储, 处理的对象.数据元素: 数据的基本单位, 在程序中作为一个整体而加以考虑和处理.是运算的基本单位,通常具有完事确定的实际意义, 数据元素又简称为元素.数据元素由数据项组成. 在…...

编程日记 2024/12/16 23:16:06

怎么做锅炉网站/西安网站seo优化公司

一、为什么要使用relnoopener&#xff1f;先举个栗子DocumentdaDocument其中在a.html中有个超链接&#xff0c;点击后打开新的tab页&#xff0c;神奇的发现原tab页已经变成了谷歌页面。原因是使用target_blank打开新的窗口时&#xff0c;赋予了新的窗口一些权限可以操作原tab页…...

编程日记 2024/12/16 21:43:45

做市级网站需要什么意思/百度广告屏蔽

一、TC简介netem与tc: netem是Linux 2.6及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中&#xff0c;模拟出复杂的互联网传输性能&#xff0c;诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多发行版Linux都开…...

编程日记 2024/12/16 20:17:38