当前位置: 首页 > news >正文

从 0 到 1 ,手把手教你编写《消息队列》项目(Java实现) —— 介绍项目/ 需求分析

文章目录

  • 一、消息队列是什么?
  • 二、需求分析
    • 结构解析
    • 功能解析
    • 规则解析
      • 绑定关系
      • 交换机类型
      • 消息应答
  • 三、持久化存储
  • 四、网络通信
    • 提供的API
    • 复用TCP连接
  • 五、消息队列概念图


一、消息队列是什么?


消息队列 (Message Queue, MQ)就是将阻塞队列这一数据结构提取成了一个独立程序,故消息队列也是一个生产者消费者模型.

生产者消费者模型的作用:

1️⃣解耦合:
如果是客户端A直接调用服务器B,那么客户端A与服务器B的代码耦合度就比较高,更改任意一方的代码,可能另一方的代码都会随之受到牵连而也需要改写.

而如果是客户端A将请求发送至生产者消费者模型,服务器B再从中取出,此时A和B的代码耦合度就低,就不会出现牵一发而动全身这样麻烦的情况了.

2️⃣削峰填谷:
服务器C,业务逻辑比较复杂,无法同时处理很多的请求,如果此时有多个客户端向服务器C发送请求,那么服务器C就有挂掉的风险.
引入消息队列后,让所有的客户端都将请求发送到消息队列中,服务器从消息队列中取,
在客户端请求较多时,仍让服务器收到的请求保持在安全数量,即达到削峰效果.
在服务器较为空闲时,仍可以让其从消息队列中获取请求,达到填谷效果.
以此来降低因请求过多而让服务器挂掉的风险.

使用场景:

双十一的时候,淘宝客户端会产生大量订单,客户端将订单提交到服务器,此时服务器就会面临大量订单,那么服务器面对远超自己承受能力的庞大数据量,可能就会挂掉.

此时就可以引入 生产者消费者模型 >>> 消息队列,让淘宝客户端的订单,发送到消息队列,再让服务器根据自己的承受能力自行取订单.


二、需求分析

此处咱们编写的消息队列,主要参考市面上比较知名的消息队列 RabbitMQ.
消息队列的核心功能主要有两个:
1️⃣让生产者将需要转发的数据(称之为消息)存储到消息队列中.
2️⃣让消费者将需要取出的消息,从消息队列中取出
在这里插入图片描述

此处的消息队列会有N多个生产者,N多个消费者,其中Borker Server 最为重要,是用来存储和转发消息的.


根据上述要实现的两个核心功能就提取出了六个核心概念:
1️⃣生产者(Producer):生产消息的一方

2️⃣消费者(Consumer):消费消息的一方

3️⃣中间人(Broker):存放消息的一方

4️⃣发布消息(Publish):生产者将生产出的消息,存放到中间人处的功能.

5️⃣订阅消息(Subscribe):消费者订阅中间人此处的某些消息的功能.

6️⃣消费消息(Consume):服务器将消息推送给订阅的消费者的功能.


结构解析

前三个概念是比较好理解的,那我们就来剖析一下后三个功能.

让我们先来看看RabbitMQ的内部结构

在这里插入图片描述

上述结构遵循了AMPQ协议.

Broker Server内部的结构有多个<虚拟机>.

虚拟机:类似于MySQL中的 batabase,是一组数据的逻辑集合.

交换机:生产者投递消息到 Broker Server 实际上,是把消息投递到某个交换机,再由交换机把自身的规则把消息转发给对应的队列.

消息队列:真正用来存储消息的实体.

Binding绑定关系:记录交换机与队列之间的绑定关系.


功能解析

发布消息功能:其实就是生产者将消息发送给对应的交换机,交换机再根据不同的转发规则,转发给与之相绑定且符合规则的消息队列.

订阅消息功能:其实就是消费者去某个消息队列处注册,表明自己要从这个消息队列中取消息,这个注册称之为订阅.(此处的订阅消息就好像是在抖音上给一个博主点了关注,)

消费消息功能:其实就是当消息队列中有消息时,自动向在这个消息队列注册过的消费者推送信息.(当你关注的博主发布新视频时,便会自动将视频推送给你)


规则解析

上述三个功能中有两个核心规则:
1️⃣让生产者的消息正确存储到对应队列的规则(姑且称为正确存储规则).

2️⃣保证将消息转发到对应的消费者手中的规则,而没有在网络上丢失(姑且称为正确转发规则).

正确存储规则要如何实现呢?
发布消息的本质是将消息到交换机,再由对应的交换机存储到与之绑定且符合转发规则的队列中.
故正确存储规则的实现主要依靠
绑定关系 与 交换机的类型.

绑定关系

绑定关系本质上是给 交换机 与 消息队列 通过 一个绑定钥匙进行绑定.
所以绑定关系本质上只有三个字段,
exchangeName(交换机名称),queueName(消息队列名称),bindingKey(绑定钥匙).
在这里插入图片描述

在不同的交换机类型中bindingKey也起到不同的作用.


交换机类型

发送消息到交换机时,一共会提交三个参数,
1.消息,2.交换机名称,3.routingKey
交换机共有四种类型:

Direct类型
Fanout类型
Topic类型

Header类型(其中 Header 这种方式比较复杂, 比较少见. 常用的是前三种交换机类型. 咱们此处也主要实现这三种)

Direct类型(直接交换机): 生产者向该类型交换机发送消息时, 直接指定队列名称,无视绑定关系.(即指定的队列与该交换机有没有绑定都可以)

在这里插入图片描述

Fanout类型(扇出交换机):生产者发送的消息会被发送到所有与该交换机存在绑定关系的队列中.
在这里插入图片描述

Topic类型(主题交换机): 发送消息指定⼀个字符串为 routingKey. 然后去绑定关系表中去查找与该交换机绑定的队列,并且与绑定关系中的 bindingKey匹配成功才发送到这个队列中.(匹配算法后续讲解)

在这里插入图片描述


正确转发规则要如何实现呢?
其实很简单,让消费者拿到消息后,告诉服务器一声就ok了,也就是消息应答.


消息应答

应答模式分成两种.
自动应答 : 消费者只要消费了消息, 就算应答完毕了. Broker 直接删除这个消息.(等于没应答)
手动应答 : 消费者手动调用应答接口, Broker Server 收到应答请求之后, 才真正删除这个消息.

手动应答的目的, 是为了保证消息确实被消费者处理成功了. 在⼀些对于数据可靠性要求高的场景, 比较常见.


三、持久化存储

Exchange交换机, Queue消息队列, Binding绑定关系, Message消息 都有持久化的需求.
以保证当程序重启 / 主机重启, 上述内容不丢失.

这就需要我们将这些数据存储到硬盘中,这样当程序重启/主机重启时,才不会丢失数据.

但是为了保证 咱们这个《消息队列》程序能够高效的转发处理数据,所以这些数据也要在内存中存储一份,
并且每次重启后,都要将硬盘的数据读取恢复到内存中.


四、网络通信

⽣产者和消费者都是客户端程序, broker Server 则是作为服务器. 通过网络进⾏通信.
在⽹络通信的过程中, 客户端部分要提供对应的 api, 来实现对服务器的操作.

以生产者创建交换机举例:
在这里插入图片描述

提供的API

创建交换机 (exchangeDeclare)
销毁交换机 (exchangeDelete)
创建队列 (queueDeclare)
销毁队列 (queueDelete)
创建绑定 (queueBind)
解除绑定 (queueUnbind)
发布消息 (basicPublish)
订阅消息 (basicConsume)
确认消息 (basicAck)

上述这9个API是服务器和客户端都有的,

客户端的这些API让客户使用 RPC 远程调用服务器上的方法.
服务器的这些API则是实现各种操作的.


复用TCP连接

还有4个API是提供网络连接支持的
创建 Connection (创建TCP连接)
关闭 Connection (销毁TCP连接)
创建 Channel (创建逻辑连接)
关闭 Channel (销毁逻辑链接)

一个Connection对象代表一个TCP连接.

Channel 则是 Connection 中的逻辑通道.
⼀个 Connection 中可以包含多个 Channel.
Channel 和 Channel 之间的数据是独立的. 不会相互干扰.

这样的设定主要是为了 客户端在短时间多次远程调用 Broker Server 的 API时,减少频繁创建销毁TCP连接的资源开销,更好的复用 TCP 连接, 达到长连接的效果

此时就可以将 Connection 理解成教学楼,Channel理解为教室,一栋教学楼里可以有多个教室,且每个教室互不干扰.


五、消息队列概念图

在这里插入图片描述

相关文章:

从 0 到 1 ,手把手教你编写《消息队列》项目(Java实现) —— 介绍项目/ 需求分析

文章目录 一、消息队列是什么&#xff1f;二、需求分析结构解析功能解析规则解析绑定关系交换机类型消息应答 三、持久化存储四、网络通信提供的API复用TCP连接 五、消息队列概念图 一、消息队列是什么&#xff1f; 消息队列 (Message Queue, MQ)就是将阻塞队列这一数据结构提取…...

Python学习之索引与切片

Python学习之索引与切片 s “0abcdefghijklmnopqrstuvwxyz”&#xff0c;第一个元素‘0’&#xff0c;索引号为0&#xff0c;最后一个元素‘z’&#xff0c;索引号为26 1. s[0]获取索引号为0的元素 2. s[1:3]获取索引号为1的元素&#xff0c;直到但不包括索引号为3的元素。即…...

编程每日一练(多语言实现)基础篇:满足abcd=(ab+cd)^2的数 (增加Go语言实现)

文章目录 一、实例描述二、技术要点三、代码实现3.1 C 语言实现3.2 Python 语言实现3.3 Java 语言实现3.4 JavaScript 语言实现3.5 Go 语言实现 一、实例描述 假设 abcd 是一个四位整数&#xff0c;将它分成两段&#xff0c;即 ab 和 cd&#xff0c;使之相加求和后再平方。求满…...

LeetCode 热题 HOT 100:回溯专题

LeetCode 热题 HOT 100&#xff1a;https://leetcode.cn/problem-list/2cktkvj/ 文章目录 17. 电话号码的字母组合22. 括号生成39. 组合总和46. 全排列补充&#xff1a;47. 全排列 II &#xff08;待优化)78. 子集79. 单词搜索124. 二叉树中的最大路径和200. 岛屿数量437. 路径…...

喝健康白酒 有益生心健康

中国的制酒史源远流长&#xff0c;酒渗透在中华五千年的文化中。酒与烟不同&#xff0c;烟对人体有百害而无一利&#xff0c;而对于酒&#xff0c;若掌握好饮酒的度&#xff0c;对人体有一定的养生作用&#xff0c;所以我们通常会说“戒烟限酒”。 据一些专家研究&#xff0c;…...

动态规划:两个数组的dp问题(C++)

动态规划&#xff1a;两个数组的dp问题 前言两个数组的dp问题1.最长公共子序列&#xff08;中等&#xff09;2.不同的子序列&#xff08;困难&#xff09;3.通配符匹配&#xff08;困难&#xff09;4.正则表达式&#xff08;困难&#xff09;5.交错字符串&#xff08;中等&…...

BASH shell脚本篇2——条件命令

这篇文章介绍下BASH shell中的条件相关的命令&#xff0c;包括&#xff1a;if, case, while, until, for, break, continue。之前有介绍过shell的其它基本命令&#xff0c;请参考&#xff1a;BASH shell脚本篇1——基本命令 1. If语句 if语句用于在顺序执行语句的流程中执行条…...

【图论C++】Floyd算法(多源最短路径长 及 完整路径)

>>>竞赛算法 /*** file * author jUicE_g2R(qq:3406291309)————彬(bin-必应)* 一个某双流一大学通信与信息专业大二在读 * * brief 一直在算法竞赛学习的路上* * copyright 2023.9* COPYRIGHT 原创技术笔记&#xff…...

小谈设计模式(11)—模板方法模式

小谈设计模式&#xff08;11&#xff09;—模板方法模式 专栏介绍专栏地址专栏介绍 模板方法模式角色分类抽象类&#xff08;Abstract Class&#xff09;具体子类&#xff08;Concrete Class&#xff09;抽象方法&#xff08;Abstract Method&#xff09;具体方法&#xff08;C…...

C#程序中很多ntdll.dll、clr.dll的线程

如下图 需要“右键工程——调试——取消勾选‘启用本地代码调试’”即可。...

低代码工作流程管理系统:提升企业运营效率的利器

业务运营状况是否良好&#xff0c;除了人员需要配合以外&#xff0c;真正发挥作用的是背后的工作流程。将重复的工作进行自动化处理&#xff0c;确保这些流程最终指向同一个目标、实现一致的运营结果。而设计和实施不佳的工作流程则产生相反的效果——导致处理时间延长、运营成…...

HIVE SQL regexp_extract和regexp_replace配合使用正则提取多个符合条件的值

《平凡的世界》评分不错&#xff0c;《巴黎圣母院》改变成的电影不错&#xff0c;还有<<1984>>也蛮好看。 如何使用regexp_extract&regexp_replace函数将以上文本中所有书籍名称都提取出来&#xff1f; select substr(regexp_replace(regexp_extract(regexp_…...

debian 安装matlab2022b报错解决方法与问题解决思路

报错 terminate called after throwing an instance of ‘std::runtime_error’ 在安装目录执行 ./bin/glnxa64/MATLABWindow通过执行以上命令发现是和libharfbuzz库有关。 该库在调用freetype库时&#xff0c;有方法找不到。 偿试remove freetype库&#xff0c;发现该库有大…...

Jenkins集成AppScan实现

一、Jenkins上安装插件 在Jenkins里安装以下插件 ibm-security-appscanstandard-scanner 二、打开AppScan 1、配置需要扫描的地址 配置需要扫描的地址 2、记录好要扫描的URL登录序列 记录好要扫描的URL登录序列 3、导出要扫描的URL登录序列设置 导出要扫描的URL登录序列设置 三…...

10.1 File类

前言&#xff1a; java.io包中的File类是唯一一个可以代表磁盘文件的对象&#xff0c;它定义了一些用于操作文件的方法。通过调用File类提供的各种方法&#xff0c;可以创建、删除或者重命名文件&#xff0c;判断硬盘上某个文件是否存在&#xff0c;查询文件最后修改时间&…...

[论文笔记]UNILM

引言 今天带来论文Unified Language Model Pre-training for Natural Language Understanding and Generation的笔记,论文标题是 统一预训练语言模型用于自然语言理解和生成。 本篇工作提出了一个新的统一预训练语言模型(Unifield pre-trained Language Model,UniLM),可以同…...

LLM之Colossal-LLaMA-2:Colossal-LLaMA-2的简介、安装、使用方法之详细攻略

LLM之Colossal-LLaMA-2&#xff1a;Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 导读&#xff1a;2023年9月25日&#xff0c;Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。Colossal-LLaMA-2项目的技术细节&#xff0c;主要核心要点总结如下: >> 数据处…...

国庆作业2

select实现服务器并发 代码&#xff1a; #include <myhead.h>#define ERR_MSG(msg) do{\printf("%d\n",__LINE__);\perror(msg);\ }while(0)#define PORT 8888#define IP "192.168.1.5"int main(int argc, const char *argv[]) {//创建流式套接字…...

fork仓库的代码如何同步主仓库代码

1.背景 我fork了一份 jekyll-theme-chirpy 仓库的代码(基于 jekyll 的自建博客仓库&#xff0c;可以免服务器)&#xff0c;我需要在上面更新我的博客文章&#xff0c;但是我又想一直同步 jekyll-theme-chirpy 仓库的新功能&#xff0c;这样我可以更新自己的博客功能。所以我就…...

【Axure】元件库和母版、常见的原型规范、静态原型页面制作

添加现有元件库 点击元件库——载入 当然也可以创建元件库&#xff0c;自己画自己保存 建立京东秒杀母版 静态原型页面的制作 框架 选择以iphone8的界面大小为例&#xff0c;顶部状态栏高度为20 左侧类似于标尺&#xff0c;因为图标、文字离最左侧的间距是不一样的 信…...

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…...

多场景 OkHttpClient 管理器 - Android 网络通信解决方案

下面是一个完整的 Android 实现&#xff0c;展示如何创建和管理多个 OkHttpClient 实例&#xff0c;分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时&#xff0c;可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案&#xff1a; 1. 检查电源供电问题 问题原因&#xff1a;多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

《用户共鸣指数(E)驱动品牌大模型种草:如何抢占大模型搜索结果情感高地》

在注意力分散、内容高度同质化的时代&#xff0c;情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现&#xff0c;消费者对内容的“有感”程度&#xff0c;正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中&#xff0…...

【python异步多线程】异步多线程爬虫代码示例

claude生成的python多线程、异步代码示例&#xff0c;模拟20个网页的爬取&#xff0c;每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程&#xff1a;允许程序同时执行多个任务&#xff0c;提高IO密集型任务&#xff08;如网络请求&#xff09;的效率…...

今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存

文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...

大语言模型(LLM)中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型&#xff08;LLM&#xff09;参数规模的增长&#xff0c;推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长&#xff0c;而KV缓存的内存消耗可能高达数十GB&#xff08;例如Llama2-7B处理100K token时需50GB内存&a…...

10-Oracle 23 ai Vector Search 概述和参数

一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI&#xff0c;使用客户端或是内部自己搭建集成大模型的终端&#xff0c;加速与大型语言模型&#xff08;LLM&#xff09;的结合&#xff0c;同时使用检索增强生成&#xff08;Retrieval Augmented Generation &#…...

安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”(装配)

船舶制造装配管理现状&#xff1a;装配工作依赖人工经验&#xff0c;装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书&#xff0c;但在实际执行中&#xff0c;工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...

JavaScript基础-API 和 Web API

在学习JavaScript的过程中&#xff0c;理解API&#xff08;应用程序接口&#xff09;和Web API的概念及其应用是非常重要的。这些工具极大地扩展了JavaScript的功能&#xff0c;使得开发者能够创建出功能丰富、交互性强的Web应用程序。本文将深入探讨JavaScript中的API与Web AP…...