怎么查看一个网站的后台/网络营销推广流程
文章目录
- 1、RabbitMQ
- 1.1 RabbitMQ-如何保证消息不丢失
- 1.2 RabbitMQ消息的重复消费问题如何解决的
- 1.3 RabbitMQ中死信交换机 ? (RabbitMQ延迟队列有了解过嘛)
- 1.4 RabbitMQ如果有100万消息堆积在MQ , 如何解决(消息堆积怎么解决)
- 1.5 RabbitMQ的高可用机制有了解过嘛
- 2、Kafka
- 2.1 Kafka是如何保证消息不丢失
- 2.2 Kafka中消息的重复消费问题如何解决的
- 2.3 Kafka是如何保证消费的顺序性
- 2.4 Kafka的高可用机制有了解过嘛
- 2.5 解释一下复制机制中的ISR
- 2.6 Kafka数据清理机制了解过嘛
- 2.7 Kafka中实现高性能的设计有了解过嘛
1、RabbitMQ
1.1 RabbitMQ-如何保证消息不丢失
- 开启
生产者确认机制
,确保生产者的消息能到达队列 - 开启
持久化功能
,确保消息未消费前在队列中不会丢失 - 开启
消费者确认机制为auto
,由spring确认消息处理成功后完成ack - 开启
消费者失败重试机制
,多次重试失败后将消息投递到异常交换机
,交由人工处理
首先需要知道消息会在什么地方会丢失
消息从生产者发送到消费者消费的整个流程都可能丢失消息
生产者确认机制(生产者阶段)
RabbitMQ提供了publisher confirm机制来避免消息发送到MQ过程中丢失
。消息发送到MQ以后,会返回一个结果给发送者,表示消息是否处理成功
消息失败之后如何处理呢?
回调方法即时重发
记录日志
- 保存到数据库然后
定时重发
,成功发送后即刻删除表中的数据
消息持久化(mq阶段)
MQ默认是内存存储消息,开启持久化功能
可以确保缓存在MQ中的消息不丢失。
在配置 MQ的时候,对交换机、队列可以设置持久化
消费者确认
RabbitMQ支持消费者确认机制,即:消费者处理消息后可以向MQ发送ack回执
,MQ收到ack回执后才会删除该消息
。而SpringAMQP
则允许配置三种确认模式:
manual:手动
ack,需要在业务代码结束后,调用api发送ack。auto:自动ack
,由spring监测listener代码是否出现异常,没有异常则返回ack;抛出异常则返回nacknone:关闭ack
,MQ假定消费者获取消息后会成功处理,因此消息投递后立即被删除
我们可以利用Spring的retry机制
,在消费者出现异常时利用本地重试,设置重试次数,当次数达到了以后,如果消息依然失败,将消息投递到异常交换机
,交由人工处理
1.2 RabbitMQ消息的重复消费问题如何解决的
首先要知道为什么会重复消费?
如果在消费者消费完消息之后要给mq发送ack确认消息的时候,突然因为网络抖动,或者消费者宕机了,使得消息没有被确认消费,就不会再mq中剔除,造成别的消费者也能拿到消息然后消费
解决办法有两种:
-
每条消息设置一个唯一的标识id(效率高)
每次消费者消费的时候,都要检查数据库里面是否已经有了这个数据(根据唯一标识id),有代表消费过了,就不让消费 -
幂等方案:【 redis分布式锁、数据库锁(悲观锁、乐观锁) 】(枷锁效率不高)
1.3 RabbitMQ中死信交换机 ? (RabbitMQ延迟队列有了解过嘛)
延迟队列:进入队列的消息会被延迟消费的队列
场景:超时订单、限时优惠、定时发布
延迟队列就是由死信交换机+TTL(生存时间)
组成的
死信交换机
当一个队列中的消息满足下列情况之一时,可以成为死信(dead letter):
- 消费者使用basic.reject或 basic.nack声明消费失败,并且消息的requeue参数设置为false
- 消息是一个过期消息,超时无人消费
- 要投递的队列消息堆积满了,最早的消息可能成为死信
如果该队列配置了dead-letter-exchange
属性,指定了一个交换机,那么队列中的死信就会投递到这个交换机中,而这个交换机称为死信交换机(Dead Letter Exchange,简称DLX)。
TTL
TTL,也就是Time-To-Live。如果一个队列中的消息TTL结束仍未消费,则会变为死信,ttl超时分为两种情况:
- 消息所在的队列设置了存活时间
- 消息本身设置了存活时间
延迟队列插件
DelayExchange的本质还是官方的三种交换机,只是添加了延迟功能
。因此使用时只需要声明一个交换机
,交换机的类型可以是任意类型,然后设定delayed属性为true即可。
1.4 RabbitMQ如果有100万消息堆积在MQ , 如何解决(消息堆积怎么解决)
解决消息堆积有三种种思路:
增加更多消费者
,提高消费速度- 在
消费者内开启线程池
加快消息处理速度 扩大队列容积
,提高堆积上限,采用惰性队列
在声明队列的时候可以设置属性x-queue-mode为lazy,即为
惰性队列 基于磁盘存储
,消息上限高
性能比较稳定,但基于磁盘存储,受限于磁盘IO,时效性会降低
为什么会出现消息堆积,无非就是消费速度赶上不消费速度
就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃
惰性队列
惰性队列的特征如下:
- 接收到消息后直接
存入磁盘而非内存
- 消费者要消费消息时才会
从磁盘中读取并加载到内存
- 支持数
百万条
的消息存储
1.5 RabbitMQ的高可用机制有了解过嘛
高可用无非就是做集群,一个节点宕机了,别的节点还能使用,使得数据不被丢失
普通集群(不推荐)
- 会在集群的各个节点间共享部分数据,包括:交换机、队列元信息。不包含队列中的消息。
- 当访问集群某节点时,如果队列不在该节点,会从数据所在节点传递到当前节点并返回
- 队列所在节点宕机,队列中的消息就会丢失
镜像集群(也会造成数据丢失)
镜像集群:本质是主从模式
,具备下面的特征:
- 交换机、队列、队列中的消息会在各个mq的镜像节点之间同步备份。
- 创建队列的节点被称为该队列的主节点,备份到的其它节点叫做该队列的镜像节点。
- 一个队列的主节点可能是另一个队列的镜像节点
- 所有操作都是主节点完成,然后同步给镜像节点
- 主宕机后,镜像节点会替代成新的主
若主节点还没给镜像节点同步就宕机了,还是会造成数据丢失
仲裁队列
仲裁队列:仲裁队列是3.8版本以后才有的新功能,用来替代镜像队列,具备下列特征:
- 与镜像队列一样,都是主从模式,支持主从数据同步
- 使用非常简单,没有复杂的配置
- 主从同步基于Raft协议,强一致
2、Kafka
2.1 Kafka是如何保证消息不丢失
需要从三个层面去解决这个问题:
- 生产者发送消息到Brocker丢失
设置异步发送,发送失败使用回调进行记录或重发
失败重试,参数配置,可以设置重试次数
- 消息在Brocker中存储丢失
发送确认acks,选择all,让所有的副本都参与保存数据后确认
- 消费者从Brocker接收消息丢失
关闭自动提交偏移量,开启手动提交偏移量
提交方式,最好是同步+异步提交
首先得知道消息在传递过程中经历过哪些阶段:
所以在生产者、kafka的Brocker、消费者都会出现消息丢失现象
生产者发送消息到Brocker丢失
解决办法:1、异步发送,发送失败记录日志。2、开启失败重试
消息在Brocker中存储丢失
解决办法就是,Brocker收到消息之后,给生产者发送一个ack确认,告诉生产者消息接收到了,至于这个消息是leader发还是leader和follower一起发取决于ack的参数值
像acks=all 就需要所有的追随者(follower)都同步消息了才会给生产者发送ack确认,效率就很慢,一般设置ack=1,由leader发送确认消息就行了
消费者从Brocker接收消息丢失
消费者消费消息是根据分区中的偏移量来按位消费
的
消费者默认是自动按期
提交已经消费的偏移量
,默认是每隔5s提交一次
如果出现重平衡
的情况,可能会重复消费或丢失数据
正常消费:
重平衡: 会导致消息丢失
或者消息重读
消息重读
若此刻consumer2消费消息之后,还没有将偏移量更新同步到分区当中,突然宕机了,此刻consumer1会继承consumer2的分区继续跟着原来的偏移量消费,此刻就会造成重复消费。
消息丢失
也就是提交偏移量和实际消费的消息有偏差,本来要消费3个,结果只消费了1个,然后偏移量也提交到了3,然后突然宕机了,这个时候别的消费者继承分区之后,会从3之后开始消费,这时候2,3位置的消息就丢失了
解决办法就是把自动设置偏移量设置为手动
禁用自动提交偏移量,改为手动
同步提交
异步提交
同步+异步组合提交
幂等方案(根据全局唯一id来判断重复提交,或者加分布式锁)
例如:
2.2 Kafka中消息的重复消费问题如何解决的
参考2.1重平衡,消息重读
- 关闭自动提交偏移量,开启手动提交偏移量
- 提交方式,最好是同步+异步提交
- 幂等方案
2.3 Kafka是如何保证消费的顺序性
问题原因:
一个topic的数据可能存储在不同的分区中,每个分区都有一个按照顺序的存储的偏移量,如果消费者关联了多个分区不能保证顺序性
解决方案:
topic分区中消息只能由消费者组中的唯一一个消费者处理,所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理,不能保证跨分区的消息先后处理顺序。 所以,如果你想要顺序的处理Topic的所有消息,那就只提供一个分区。
发送消息时指定分区号
(主要)发送消息时按照相同的业务设置相同的key
首先得知道kafka默认是不确保消费的顺序性的,因为一个消费者可能负责几个分区,而消费者又是根据偏移量来消费的,不同分区的偏移量自然是不同的
假设用户先充值,再转账,那么必须先充值,才能去转账,这样就要保证消费的顺序性
转账和充值消息在不同分区
转账和充值消息在同一分区
这样就能保证转账操作一定是在充值动作的后面执行,也就保证了消费的顺序性
可以直接指定分区
,或者根据key的hashCode来计算分区位置
保证需要顺序消费的信息在同一分区
2.4 Kafka的高可用机制有了解过嘛
集群:
一个kafka集群由多个broker实例组成,即使某一台宕机,也不耽误其他broker继续对外提供服务
复制机制:
一个topic有多个分区,每个分区有多个副本,有一个leader,其余的是follower,副本存储在不同的broker中所有的分区副本的内容是都是相同的,如果leader发生故障时,会自动将其中一个follower提升为leader,保证了系统的容错性、高可用性
集群模式
- Kafka 的服务器端由被称为 Broker 的服务进程构成,即
一个 Kafka 集群由多个 Broker 组成
- 这样如果集群中某
一台机器宕机
,其他
机器上的Broker
也依然能够对外提供服务
。这其实就是 Kafka 提供高可用的手段之一
分区备份机制
主负责读写,从只负责当做副本,在主宕机了就上去当主
- 一个topic有多个分区,每个分区有多个副本,其中有一个leader,其余的是follower,副本存储在不同的broker中
- 所有的分区副本的内容是都是相同的,如果leader发生故障时,会自动将其中一个follower提升为leader
其实里面的follower从节点也分为两种,一种ISR节点(同步复制),一种普通副本节点(异步复制)
参考本文 2.6
2.5 解释一下复制机制中的ISR
ISR(in-sync replica)需要同步复制保存的follower
如果leader失效后,需要选出新的leader,选举的原则如下:
- 第一:选举时优先从ISR中选定,因为这个列表中follower的数据是与leader同步的
- 第二:如果ISR列表中的follower都不行了,就只能从其他follower中选取
所以ISR类型的节点设置也需要根据实际设置,太多影响效率,太少当主节点宕机可能会出现不够用,
ISR-follower和主节点复制是同步的,数据完整性强,普通follower是异步复制完成的,数据的完整性肯定不如ISR-follower,若都设置为ISR节点,虽然数据完整性强,同步必然导致阻塞,所以只有在ISR节点不够用的情况下,才会去考虑拿普通的节点来充当为主节点
2.6 Kafka数据清理机制了解过嘛
Kafka存储结构
- Kafka中topic的数据存储在分区上,分区如果文件过大会分段存储segment
- 每个分段都在磁盘上以索引(xxxx.index)和日志文件(xxxx.log)的形式存储
- 分段的好处是,第一能够减少单个文件内容的大小,查找数据方便,第二方便kafka进行日志清理。
日志的清理策略有两个:
- 根据消息的保留时间,当消息保存的时间超过了指定的时间,就会触发清理,默认是168小时( 7天)
- 根据topic存储的数据大小,当topic所占的日志文件大小大于一定的阈值(默认1G),则开始删除最久的消息。(默认关闭)
首先得知道kafka的数据存储结构:
为什么分段:
删除无用文件方便,提高磁盘利用率
查找数据便捷
文件的命令基本上都是按照偏移量来命名的,查找方便
数据清理机制
- List item
2.7 Kafka中实现高性能的设计有了解过嘛
-
消息分区:不受单台服务器的限制,可以不受限的处理更多的数据
-
顺序读写:磁盘顺序读写,提升读写效率
-
页缓存:把磁盘中的数据缓存到内存中,把对磁盘的访问变为对内存的访问(访问内存自然比直接访问磁盘快)
-
零拷贝:减少上下文切换及数据拷贝
-
消息压缩:减少磁盘IO和网络IO
-
分批发送:将消息打包批量发送,减少网络开销
顺序读写:磁盘顺序读写,提升读写效率
零拷贝:减少上下文切换及数据拷贝(关键)
一般的消费者去消费的过程包含4次拷贝(因为消费者和生产者一般不处于一个服务器,需要由网卡转发给别的服务器的消费者)
零拷贝就省略了从页缓存取出数据,由kafka交给网卡转发给消费者,而是直接由页缓存把数据交给网卡,再转交给消费者
既减少了用户态和内核态的切换(上下文切换)也减少了IO拷贝带来的开销
更新中
参考来自黑马程序员
相关文章:

【高频面试题】 消息中间件
文章目录 1、RabbitMQ1.1 RabbitMQ-如何保证消息不丢失1.2 RabbitMQ消息的重复消费问题如何解决的1.3 RabbitMQ中死信交换机 ? (RabbitMQ延迟队列有了解过嘛)1.4 RabbitMQ如果有100万消息堆积在MQ , 如何解决(消息堆积怎么解决)1.5 RabbitMQ的高可用机制有了解过嘛 2、Kafka2.…...

物联网智慧安防实训综合实训基地建设方案
一、系统概述 物联网智慧安防实训综合实训基地是一个为学生提供综合实践、培养技能的场所,专注于物联网技术与智慧安防应用的培训和实训。通过物联网智慧安防实训综合实训基地的建设和运营,学生可以在真实的环境中进行实践训练,提高其物联网技…...

openGauss学习笔记-44 openGauss 高级数据管理-存储过程
文章目录 openGauss学习笔记-44 openGauss 高级数据管理-存储过程44.1 语法格式44.2 参数说明44.3 示例 openGauss学习笔记-44 openGauss 高级数据管理-存储过程 存储过程是能够完成特定功能的SQL语句集。用户可以进行反复调用,从而减少SQL语句的重复编写数量&…...

【Linux】进程信号篇Ⅲ:可重入函数、volatile关键字、SIGCHLD信号
信号Ⅲ 🔗 接上篇七、可重入函数八、volatile 关键字九、SIGCHLD 信号 🔗 接上篇 👉🔗进程信号篇Ⅰ:信号的产生(signal、kill、raise、abort、alarm)、信号的保存(core dump&#x…...

排序算法:冒泡排序
冒泡排序是入门级的算法,但也有一些有趣的玩法。通常来说,冒泡排序有三种写法: 一边比较一边向后两两交换,将最大值 / 最小值冒泡到最后一位;经过优化的写法:使用一个变量记录当前轮次的比较是否发生过交换…...

Spring事件监听源码解析
spring事件监听机制离不开容器IOC特性提供的支持,比如容器会自动创建事件发布器,自动识别用户注册的监听器并进行管理,在特定的事件发布后会找到对应的事件监听器并对其监听方法进行回调。Spring帮助用户屏蔽了关于事件监听机制背后的很多细节…...

Cpp学习——list的模拟实现
目录 一,实现list所需要包含的三个类 二,三个类的实现 1.list_node 2.list类 3.iterator_list类 三,功能实现 1.list类里的push_back() 2.iterator类里的运算符重载 3,list类里面的功能函数 1.insert(ÿ…...

工具推荐:Chat2DB一款开源免费的多数据库客户端工具
文章首发地址 Chat2DB是一款开源免费的多数据库客户端工具,适用于Windows和Mac操作系统,可在本地安装使用,也可以部署到服务器端并通过Web页面进行访问。 相较于传统的数据库客户端软件如Navicat、DBeaver,Chat2DB具备了与AIGC…...

C语言刷题指南(二)
📙作者简介: 清水加冰,目前大二在读,正在学习C/C、Python、操作系统、数据库等。 📘相关专栏:C语言初阶、C语言进阶、C语言刷题训练营、数据结构刷题训练营、有感兴趣的可以看一看。 欢迎点赞 👍…...

[C++11]
文章目录 1. 自动类型推导1.1 auto1.1.1 推导规则1.1.2 auto的限制1.1.3 auto的应用1.1.4 范围for 1.2 decltype1.2.1 推导规则1.2.2 decltype的应用 1.3 返回类型后置 2.可调用对象包装器、绑定器2.1 可调用对象包装器2.1.1 基本用法2.1.2 作为回调函数使用 2.2 绑定器 3. usi…...

【MySQL系列】--初识数据库
💐 🌸 🌷 🍀 🌹 🌻 🌺 🍁 🍃 🍂 🌿 🍄🍝 🍛 🍤 📃个人主页 :阿然成长日记 …...

Unity导入google.protobuf失败,无法找到google命名空间
问题: 1.刚开始把protobuf的文件夹直接从其他项目里(unity2021)里复制到unity(2020)版本,当时报错protobuf.dll的依赖项system.memory版本不对。 2.没有使用原来的protobuf文件了。使用vs2019的NuGet管理包来下载Google.Protobuf ,仍然报错找…...

使用IDM下载视频出现“由于法律原因,IDM无法下载...
一、问题描述 由于法律原因,IDM无法下载..,如图: 二、原因分析 下载该IDM抓取的M3U8文件,查看其中的内容发现 : #EXT-X-KEY 字段已经写明了加密方式是AES-128,包含一个URI和IV值 #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:8 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:…...

pointnet C++推理部署--tensorrt框架
classification 如上图所示,由于直接export出的onnx文件有两个输出节点,不方便处理,所以编写脚本删除不需要的输出节点193: import onnxonnx_model onnx.load("cls.onnx") graph onnx_model.graphinputs graph.inpu…...

34.Netty源码之Netty如何处理网络请求
highlight: arduino-light 通过前面两节源码课程的学习,我们知道 Netty 在服务端启动时会为创建 NioServerSocketChannel,当客户端新连接接入时又会创建 NioSocketChannel,不管是服务端还是客户端 Channel,在创建时都会初始化自己…...

vscode 安装勾选项解释
1、通过code 打开“操作添加到windows资源管理器文件上下文菜单 :把这个两个勾选上,可以对文件使用鼠标右键,选择VSCode 打开。 2、将code注册为受支持的文件类型的编辑器:不建议勾选,这样会默认使用VSCode打开支持的相…...

Spring 6.0官方文档示例(24): replace-method的用法
一、原始bean定义 package cn.edu.tju.study.service.anno.domain;public class MyValueCalculator {public String computeValue(String input) {return "you inputted: " input;}// some other methods... }二、replace bean定义 package cn.edu.tju.study.serv…...

自然语言处理从入门到应用——LangChain:记忆(Memory)-[聊天消息记录]
分类目录:《自然语言处理从入门到应用》总目录 Cassandra聊天消息记录 Cassandra是一种分布式数据库,非常适合存储大量数据,是存储聊天消息历史的良好选择,因为它易于扩展,能够处理大量写入操作。 # List of contact…...

Python web实战之细说 Django 的单元测试
关键词: Python Web 开发、Django、单元测试、测试驱动开发、TDD、测试框架、持续集成、自动化测试 大家好,今天,我将带领大家进入 Python Web 开发的新世界,深入探讨 Django 的单元测试。通过本文的实战案例和详细讲解ÿ…...

pytorch 42 C#使用onnxruntime部署内置nms的yolov8模型
在进行目标检测部署时,通常需要自行编码实现对模型预测结果的解码及与预测结果的nms操作。所幸现在的各种部署框架对算子的支持更为灵活,可以在模型内实现预测结果的解码,但仍然需要自行编码实现对预测结果的nms操作。其实在onnx opset===11版本以后,其已支持将nms操作嵌入…...

【Lua】(一)VSCode 搭建 Lua 开发环境
前言 最近在找工作,基本所有的岗位都会问到 Lua(甚至拼 UI 的都要求会 Lua),咱能怎么办呢,咱也只能学啊…… 工欲善其事,必先利其器。第一步,先来把环境配置好吧! 当前适用版本&a…...

react-vite-antd环境下新建项目
vite 创建一个react项目 1. 安装vite并创建一个react项目1. 我使用的 yarn安装,基本配置项目名字, 框架react ,js2. cd vite-react进入项目目录安装node包并启动项目 2. 安装引入Ant Design引入依赖(我用的yarn,没有安装的也可以使…...

KeilMDk软仿真设置_STM32F03C8
1、KeilMDK软仿真的价值 (1)在没有硬件的情况下进行程序的编写调试。 (2)避免频繁的下载程序,延长单片机Flash寿命。 2、软仿真配置。 (1)打开Keil工程。 (2)点击“Options for Target ***”,如下图所示。 (3)点击“Debug”。 (4)进行如下配置。 U…...

mysql的隐式连接和显式连接的区别
隐式连接(Implicit Join)和显式连接(Explicit Join)是 SQL 查询中用于联结多个表的两种不同语法方式。它们的区别主要体现在语法的书写风格和可读性上。 隐式连接: 隐式连接使用逗号 , 将多个表名放在 FROM 子句中&am…...

vue-element-admin新增view后点击侧边栏加载慢问题
按照官网文档新增view 新增之后点击显示一直在加载中 解决方案:删除script中这段代码...

论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读
论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读 BackgroundIntroducitonProblem StatementMethodology Δ W \Delta W ΔW 的选择 W W W的选择 总结 今天带来的是由微软Edward Hu等人完成并发表在ICLR 2022上的论文《LoRA: Low-Rank Adaptation of Large Lan…...

MySQL数据类型篇
数值类型 类型有符号(SIGNED)取值范围无符号(UNSIGNED)取值范围大小描述TINYINT(-128,127)(0,255)1byte小整数值SMALLINT(-32768,32767)(0,65535)2bytes大整数值INT/INTEGER(-2147483648,2147483647)(0,429…...

Eureka注册中心
全部流程 注册服务中心 添加maven依赖 <!--引用注册中心--> <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-server</artifactId> </dependency> 配置Eureka 因为自…...

代码随想录算法训练营第53天|动态规划part14
8.19周六 1143.最长公共子序列 1035.不相交的线 53. 最大子序和 动态规划 详细布置 1143.最长公共子序列 题目:两个字符串,问最长的公共子序列多长(不连续) 题解: 1、dp[i][j]:长度为[0, i - 1]的字…...

houdini xyzdist primuv 实现按路径走
2. meause distance v 0; add popforce...