RocketMQ重复消费的症状以及解决方案
RocketMQ重复消费的症状以及解决方案
生产消息时重复
症状
当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
方案
- 避免消费重复产生，找到原因，并做代码的限制。
- 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。
- 消费数据时，通过订阅的记录和消费的结果来判断，此消息是否重复订阅过，如果重复订阅，则不在数据库中插入数据。
消费消息时重复
症状
消息已投递到 消费者 并完成业务处理，当 消费者 给 MQ 反馈应答的时候网络闪断。 为了保证消息至少被消费一次，消息队列 MQ 的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，消费者 后续会收到两条内容相同并且 ID 也相同的消息。
方案
- 消费数据时利用Java代码做ID的重复校验，重复则放弃，并返回异常信息。也可以考虑针对数据库有条件的插入语句，限制重复插入。
消费时出现异常
症状
消息已投递到 消费者 并完成 业务A 处理，但是 业务B 处理时，发生异常，造成该条消息会标记 消费失败 ，那么为了保证消息至少被消费一次，该条消息会消费多次，直到达到消费16次，会自动放入死信队列。
方案
- 分布式事务锁（一般是zookeeper和redis搭建）
相关文章：
RocketMQ重复消费的症状以及解决方案
RocketMQ重复消费的症状以及解决方案 生产消息时重复 症状 当一条消息已被成功发送到 消费者 并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。 如果此时 生产者 意识到消息发送失败并尝试再次发送消息，消费者…...
数字化时代，企业的商业模式建设
随着新一代信息化、数字化技术的应用，众多领域通过科技革命和产业革命实现了深度化的数字改造，进入到以数据为核心驱动力的，全新的数据处理时代，并通过业务系统、商业智能BI等数字化技术和应用实现了数据价值，从数字经…...
项目实战典型案例23——-注册上nacos上的部分服务总是出现频繁掉线的情况
注册上nacos上的部分服务总是出现频繁掉线的情况一：背景介绍二：思路&方案解决问题过程涉及到的知识nacos服务注册和服务发现一：背景介绍 spring cloud项目通过nacos作为服务中心和配置中心，出现的问题是其中几个服务总是出现…...
玩转金山文档 3分钟让你的文档智能化
在上个月底，我们给大家推荐了金山轻维表的几个使用场景，社群中不少用户反响很好，对其中一些场景的解决方案十分感兴趣。但也有一些人表示，有些场景不知道如何实现，希望我们能提供模版/教程。这次我们将做一期热门模板盘…...
安装了nodejs怎么安装nvm
第一步，从控制面板卸载已经安装的node 第二步，删除C盘program开头文件夹下的node文件 第三步，去C/user/用户名 文件夹下，删除.npmrc文件 第四步，打开隐藏文件，第三步文件夹下有一个Appdata文件ÿ…...
java安全编码规范考试
java安全编码规范考试 整理不易，收点币！！ 安全编码规范考试.md 下面对zip文件的安全解压缩描述，错误的是 A.zip文件解压时，可以使用entry.getSize(）对解压缩文件进行文件大小判断 B.zip文件解压时&…...
表格检测识别技术的发展历程
近年来，随着计算机技术的飞速发展，越来越多的研究者开始关注表格检测识别技术。表格检测识别技术是一种利用计算机自动处理表格的技术，它可以实现从文本中检测出表格，并进行识别和提取。这种技术有助于提高文本处理的效率…...
设计UI - Adobe xd对象介绍
矩形工具 新建矩形 操作步骤：选择矩形工具，快捷键R，鼠标在画板上拖出矩形即可。 拖动定界框周围圆形手柄，可快速调整矩形大小，也可以输入宽和高的参数对矩形大小进行改变。 移动矩形 操作步骤：选择选择工具…...
优思学院｜精益生产中的“单件流”真的能够做到吗？
精益生产中提到的“一个流”（One Piece Flow）是一种生产方式，它的核心理念是通过合理配置作业场地、人员和设备，使产品从投入到成品产出的整个制造加工过程中始终处于不停滞、不堆积、不超越，按节拍一个一个地流动。 …...
移除元素问题解决方法------LeetCode-OJ题
问题： 给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素，并返回移除后数组的新长度。 要求： 不要使用额外的数组空间，你必须仅使用 O(1) 额外空间并 原地 修改输入数组。 元素的顺序可以改…...
JavaScript学习笔记（1.0）
push() 语法：数组.push(数据) 作用：将数据追加到数组的末尾 返回值：追加数据后数组最新的长度 pop() 语法：数组.pop() 作用：删除数组最后一个数据 返回值：被删除的数据 unshift() 语法：数…...
FCN网络介绍
目录前言一.FCN网络二.网络创新点前言 在图像分割领域，有很多经典的网络，如MASK R-CNN，U-Net，SegNet，DeepLab等网络都是以FCN为基础进行设计的。我们这里简单介绍一下这个网络。 一.FCN网络 FCN网络介绍 FCN 即全…...
Idea+maven+spring-cloud项目搭建系列--11 整合dubbo
前言： 微服务之间通信框架dubbo，使用netty （NIO 模型）完成RPC 接口调用； 1 dubbo 介绍： Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提…...
2023年上半年北京杭州/广州深圳软考中/高级报名入口
软考是全国计算机技术与软件专业技术资格（水平）考试（简称软考）项目，是由国家人力资源和社会保障部、工业和信息化部共同组织的国家级考试，既属于国家职业资格考试，又是职称资格考试。 系统集成…...
jupyter notebook配置和使用
简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 参考博客：https://zhuanlan.zhihu.com/p/33105153 特点 ①编程时具有语法高亮、缩进、tab补全的功能。 ② 可直接通过浏览器…...
【C++】通过stack、queue、deque理解适配器模式
破镜不能重圆，枯木可以逢春。 文章目录一、stack1.stack的介绍2.stack相关OJ题（巧妙利用stack数据结构的特征）3.stack的模拟实现二、queue1.queue的介绍2.queue的相关OJ题（巧妙利用queue数据结构的特征）3.queue的模拟实…...
JavaScript 高级实例集合
文章目录JavaScript 高级实例集合创建一个欢迎 cookie简单的计时另一个简单的计时在一个无穷循环中的计时事件带有停止按钮的无穷循环中的计时事件使用计时事件制作的钟表创建对象的实例创建用于对象的模板JavaScript 高级实例集合 创建一个欢迎 cookie 源码 <!DOCTYPE ht…...
Flutter（五）容器类组件
布局类组件包含多个子组件，而容器类组件只包含一个子组件 目录填充（Padding）装饰容器（DecoratedBox）变换（Transform）Transform.translate 平移Transform.rotate 旋转Transform.scale 缩放Rotate…...
实现满屏品字布局
html, body {width: 100%;height: 100%;}.first {width: 50%;height: 50%;margin: auto;background-color: pink;}.second {width: 50%;height: 50%;float: left;background-color: greenyellow;}.third {width: 50%;height: 50%;float: left;background-color: yellow;}...
软件测试-性能测试-基础知识
文章目录 1.性能测试理论1.1 相关概念1.2 性能测试指标2.性能测试策略2.1 基准测试2.2 负载测试2.3 稳定性测试2.4 其他测试策略3.性能测试的流程3.1 需求分析3.2 编写性能测试计划和方案3.3 编写性能测试用例3.4 性能测试执行3.5 性能测试报告4.性能测试工具4.1 Loadrunner4.2…...
使用VSCode开发Django指南
使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架，专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用，其中包含三个使用通用基本模板的页面。在此…...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）
HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...
条件运算符
C中的三目运算符（也称条件运算符，英文：ternary operator）是一种简洁的条件选择语句，语法如下： 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true，则整个表达式的结果为“表达式1”…...
系统设计 --- MongoDB亿级数据查询优化策略
系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log，共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题，不能使用ELK只能使用…...
-----深度优先搜索（DFS）实现)
c++ 面试题(1)-----深度优先搜索（DFS）实现
操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述 地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...
macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台（Launchpad）多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显，都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...
第25节 Node.js 断言测试
Node.js的assert模块主要用于编写程序的单元测试时使用，通过断言可以提早发现和排查出错误。 稳定性: 5 - 锁定 这个模块可用于应用的单元测试，通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
初探Service服务发现机制
1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能：服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源…...