当前位置： 首页 > news >正文

MQ - 04 基础篇_存储_消息数据和元数据的存储设计

news 文章来源：https://blog.csdn.net/yangshangwei/article/details/132882255 2024/11/7 18:03:21

文章目录

  • 导图
  • 概述
  • 元数据信息的存储
  • 消息数据的存储
    • 数据存储结构设计
      • 思路一 （Kafka的方案）
      • 思路二 （RocketMQ、RabbitMQ 和 Pulsar 的底层存储 BookKeeper 采用的方案）
    • 消息数据的分段实现
      • 根据偏移量定位
      • 根据索引定位 （RabbitMQ 和 RocketMQ的思路）
      • 使用场景
    • 消息数据存储格式
      • 消息写入文件的格式 ------> 二进制的格式
      • 消息写入文件的格式
        • Kakfa 的 V2 版本存储格式的内容
        • RocketMQ 的存储格式的内容
    • 消息数据清理机制

相关文章：

MQ - 04 基础篇_存储_消息数据和元数据的存储设计

文章目录 导图概述元数据信息的存储消息数据的存储数据存储结构设计思路一 （Kafka的方案）思路二 （RocketMQ、RabbitMQ 和 Pulsar 的底层存储 BookKeeper 采用的方案）消息数据的分段实现根据偏移量定位根据索引定位 （RabbitMQ 和 RocketMQ的思路）使用场景消息数据存储格式…...

编程日记 2023/9/19 7:44:23

JavaScript：隐式转换、显示转换、隐式操作、显示操作

一、理解js隐式转换 JavaScript 中的隐式转换是指不需要显式地调用转换函数，而是在执行期间自动发生的数据类型的转换。即在使用不同类型的值进行操作时，JavaScript会自动进行类型转换。这种转换通常发生在不同数据类型之间进行运算或比较时。 序号分类…...

编程日记 2023/9/19 7:42:21

2023全新TwoNav开源网址导航系统源码 | 去授权版

2023全新TwoNav开源网址导航系统源码 已过授权 所有功能可用 测试环境：NginxPHP7.4MySQL5.6 一款开源的书签导航管理程序，界面简洁，安装简单，使用方便，基础功能免费。 TwoNav可帮助你将浏览器书签集中式管理&#…...

编程日记 2023/9/19 7:40:18

Android 12 源码分析 —— 应用层 六（StatusBar的UI创建和初始化)

Android 12 源码分析 —— 应用层 六（StatusBar的UI创建和初始化) 在前面的文章中,我们分别介绍了Layout整体布局,以及StatusBar类的初始化.前者介绍了整体上面的布局,后者介绍了三大窗口的创建的入口处,以及需要做的准备工作.现在我们分别来细化三大窗口的UI创建和…...

编程日记 2023/9/19 7:39:15

华为云ROMA Connect亮相Gartner®全球应用创新及商业解决方案峰会，助力企业应用集成和数字化转型

9月13日-9月14日 Gartner全球应用创新及商业解决方案峰会在伦敦举行 本届峰会以“重塑软件交付，驱动业务价值”为主题，全球1000多位业内专家交流最新的企业应用、软件工程、解决方案架构、集成与自动化、API等企业IT战略和新兴技术热门话题。 9月13日…...

编程日记 2023/9/19 7:38:15

虚拟线上发布会带来颠覆性新体验，3D虚拟场景直播迸发品牌新动能

虚拟线上发布会是近年来在数字化营销领域备受关注的形式，而随着虚拟现实技术的不断进步，3D虚拟场景直播更成为了品牌宣传、推广的新选择。可以说，虚拟线上发布会正在以其颠覆性的新体验，为品牌带来全新的活力。 1.突破时空限制&am…...

编程日记 2023/9/19 7:37:13

Linux arm64 pte相关宏

文章目录 一、pte 和 pfn1.1 pte_pfn1.2 pfn_pte 二、其他宏参考资料 一、pte 和 pfn // linux-5.4.18/arch/arm64/include/asm/pgtable.h#define pte_pfn(pte) (__pte_to_phys(pte) >> PAGE_SHIFT) #define pfn_pte(pfn,prot) \__pte(__phys_to_pte_val((phys_addr_t)…...

编程日记 2023/9/19 7:34:11

MVCC：多版本并发控制案例分析（一）

（笔记总结自b站马士兵教育课程） 一、简介 MVCC：全称multi-version Concurency control，多版本并发控制，是为了解决并发读写问题存在的。MVCC的实现原理由三部分组成：隐藏字段、undolog、readview。 二、概…...

编程日记 2023/9/19 7:33:10

以数据为中心的安全市场快速增长

根据Adroit Market Research的数据，2021年全球以数据为中心的安全市场规模估计为27.6亿美元，预计到2030年将增长至393.48亿美元，2021年至2030年的复合年增长率为30.9%。 研究人员表示，以数据为中心的安全强调保护数据本身&#x…...

编程日记 2023/9/19 7:32:09

AUTOSAR汽车电子嵌入式编程精讲300篇-经典 AUTOSAR 安全防御能力的分析及改善（下）

目录 4.4.2 Security 攻击 4.4.3 Security 要求 4.4.4 SDSA 有效性验证 经典 AUTOSAR 安全防御能力分析...

编程日记 2023/9/19 7:31:08

AI绘图提示词Stable Diffusion Prompt 笔记

基础 提示词分为正向提示词（positive prompt）和反向提示词（negative prompt），用来告诉AI哪些需要，哪些不需要词缀的权重默认值都是1，从左到右依次减弱，权重会影响画面生成结果。AI …...

编程日记 2023/9/19 7:29:05

xml元素值需要保留space

XmlReaderSettings.IgnoreWhitespace 属性 如果忽略空白，则为 true；否则为 false。 默认值为 false。 示例 下面创建一个设置对象，该对象可用于构造一个读取器，该读取器去除处理指令、注释和微不足道的空白。 StreamReader tex…...

编程日记 2023/9/19 7:28:04

Eclipse开源代码下载

当前插件开发，需要修改eclipse源码，如需要修改remote相关的代码，所以需要下载相关源码。网上大多资料都说的不清不楚的，也可能我太小白，不明白，反正就是折腾了一两天才感觉有点思路，改如何找源码…...

编程日记 2023/9/19 7:27:03

python多线程、进程

1、 并行和并发 （1）并发：一定周期内，多个任务来回切换执行，宏观上形成“该周期内有多个任务在同时进行”；但同一时间点，只有一个任务在执行。 举例： 你想在2小时内同时完成做饭、扫…...

编程日记 2023/9/19 7:24:59

Vue基础之模板语法介绍

前言 上篇我分享了关于Vue的入门，简单的入了个门。本篇文章将要分享的内容为Vue的模板语法。 一、插值 1.1、文本 1.2、html 1.3、属性 1.4、class、style绑定 1.5、表达式 在Vue的模板语法中，插值是一种常用的方式来动态地将数据渲染到视图中。Vue使用双…...

编程日记 2023/9/19 7:22:56

【SLAM】 前端-视觉里程计之特征点

前端-视觉里程计之特征点 参考资料： 以不变应万变：前端-视觉里程计之特征点 视觉SLAM——特征点法 task05 本次了解了特征点是由关键子和描述子组成，并且对比了SIFT、SURF等七种获取特征点的方法，同时对比了SIFT、SURF和ORB方法…...

编程日记 2023/9/19 7:21:55

Android笔记(二十九)：利用python自动生成多语言

背景 项目需要支持十几种多语言，而且每个版本的新功能ui都有很多地方需要多语言，如果手动添加非常耗时，于是设计了一个python脚本，通过excel表格转化多语言到项目values/strings文件内 步骤 android工程项目结构 脚本位于langu…...

编程日记 2023/9/19 7:20:54

【C++STL基础入门】list的运算符重载和关于list的算法

文章目录 前言一、list运算符1.1 逻辑运算符1.2 赋值运算符 二、list相关算法2.1 查找函数总结 前言 C标准模板库（STL）是一组强大而灵活的工具，用于处理数据结构和算法。其中，std::list是STL中的一个重要容器，它实现了…...

编程日记 2023/9/19 7:18:52

查找内轮廓（孔洞）

一 说明 findContours( InputOutputArray image, OutputArrayOfArrays contours,OutputArray hierarchy, int mode,int method, Point offset=Point());参数列表中有个数据结构参数：hierarchy（译层次结构），hierarchy是一个向量，其元素个数与查找到的轮廓总数相同，每一个…...

编程日记 2023/9/19 7:16:48

Git（6）——GitHub

目录 一、简介 二、概要 三、注册 ​四、创建仓库 五、推送本地代码 六、拉取远端代码 一、简介 在Git（5）中，我们已经对Git分支的概念和用法有了一定了解，对于在本地进行代码版本管理，其实当前所学的东西基本已经…...

编程日记 2023/9/19 7:11:41

【RocketMQ专题】快速实战及集群架构原理详解

目录 课程内容一、MQ简介基本介绍*作用（解决什么问题） 二、RocketMQ产品特点2.1 RocketMQ介绍2.2 RocketMQ特点2.3 RocketMQ的运行架构 三、RocketMQ快速实战3.1 快速搭建RocketMQ服务3.2 快速实现消息收发3.3 搭建Maven客户端项目3.4 搭建RocketMQ可视化…...

编程日记 2023/9/19 7:07:35

[设计模式] 浅谈SOLID设计原则

目录 单一职责原则开闭原则里氏替换原则接口隔离原则依赖倒转原则 SOLID是一个缩写词，代表以下五种设计原则 单一职责原则 Single Responsibility Principle, SRP开闭原则 Open-Closed Principle, OCP里氏替换原则 Liskov Substitution Principle, LSP接口隔离原则 …...

编程日记 2023/9/19 7:06:34

基于Java+SpringBoot+Vue的旧物置换网站设计和实现

基于JavaSpringBootVue的旧物置换网站设计和实现 源码传送入口前言主要技术系统设计功能截图数据库设计代码论文目录订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码传送入口 前言 摘 要 随着时代在一步一步在进步，旧物也成人们的烦恼，…...

编程日记 2023/9/19 7:05:32

Java基本语法2

目录 Java基本语法 第一个Java程序 基本语法 Java标识符 Java修饰符 Java变量 Java数组 Java枚举 Java关键字 Java注释 Java 空行 继承 接口 Java基本语法 一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介…...

编程日记 2023/9/19 7:03:27

【数据结构】树的存储结构；树的遍历；哈夫曼树；并查集

欢~迎~光~临~^_^ 目录 1、树的存储结构 1.1双亲表示法 1.2孩子表示法 1.3孩子兄弟表示法 2、树与二叉树的转换 3、树和森林的遍历 3.1树的遍历 3.1.1先根遍历 3.1.2后根遍历 3.2森林的遍历 3.2.1先序遍历森林 3.2.2中序遍历森林 4、树与二叉树的应用 4.1哈夫曼树…...

编程日记 2023/9/19 6:58:20

CSS选择器练习小游戏

请结合CSS选择器练习小游戏进行阅读（网页的动态效果是没有办法通过静态图片展示的） 网址：请点击 有些题有多种答案，本文就不一一列出了 第一题 答案：plate第二题 答案：bento第三题 答案：#fa…...

编程日记 2023/9/19 6:57:19

Python运算符、函数与模块和程序控制结构

给我家憨憨写的python教程 ——雁丘 Python运算符、函数与模块和程序控制结构 关于本专栏一 运算符1.1 位运算符1.1.1 按位取反1.1.2 按位与1.1.3 按位或1.1.4 按位异或1.1.5 左移位 1.2 关系运算符1.3 运算顺序1.4 运算方向 二 函数与模块2.1 内建函数2.2 库函数2.2.1 标准库…...

编程日记 2023/9/19 6:55:17

微服务保护-Sentinel

初识Sentinel 雪崩问题及解决方案 雪崩问题 微服务中，服务间调用关系错综复杂，一个微服务往往依赖于多个其它微服务。 如图，如果服务提供者I发生了故障，当前的应用的部分业务因为依赖于服务I，因此也会被阻塞。此时&a…...

编程日记 2023/9/19 6:53:15

Doris 导出表结构或数据

MYSQLDUMP 导出表结构或数据 Doris 在0.15 之后的版本已经支持通过mysqldump 工具导出数据或者表结构 使用示例​ 导出​ 导出 test 数据库中的 table1 表：mysqldump -h127.0.0.1 -P9030 -uroot --no-tablespaces --databases test --tables table1导出 test 数…...

编程日记 2023/9/19 6:51:11

SELECT * from t_user where user_id = xxx,可以从那几个点去优化这句sql

优化SQL查询可以从以下几个方面入手： 1. 索引优化：通过为查询涉及的列添加合适的索引，可以提高查询的效率。在该SQL语句中， user_id 列被用作查询条件，可以为 user_id 列创建一个索引。 2. 避免使用 SELECT *&#xf…...

编程日记 2023/9/19 6:50:10

印度做爰免费网站视频/百度一下百度首页官网

目录 dprintf原理 在指定行打印 在指定函数打印 打印类Class的成员 动态修改变量的值 自定义变量 【GDB】GDB调试总目录_bandaoyu的笔记-CSDN博客【GDB】GDB 调试多线程和多进程总结报错记录(gdb) b mps_guide_db.c:1699No source file named mps_guide_db.c.可能是因为调…...

编程日记 2024/11/7 18:00:26

青岛 生物类网站建设/如何成为百度广告代理商

什么是千人千面呢，对于千人千面，官方给的解释为：“定向推广依靠淘宝网庞大的数据库，构建出买家的兴趣模型。它能从细分类目中抓取那些特征与买家兴趣点匹配的推广宝贝，为展现在目标客户浏览的网页上，帮助您…...

编程日记 2024/11/7 17:49:16

dede多个网站怎么做/榆林百度seo

第十六届智能汽车竞赛-百度人工智能创意赛道已经开启！ 百度人工智能创意赛分为线上资格赛、线下分区赛和全国总决赛三个阶段。组委会将综合考虑线上资格赛和线下分区赛成绩来进行全国总决赛名额的选拔。区域赛成绩（小数点保留2位） 线上成绩*1…...

编程日记 2024/11/7 15:41:42

游戏网站怎么做seo/厦门百度推广排名优化

$SYS-系统主题 先来看一段EMQ对于系统主题的介绍：EMQ 消息服务器周期性发布自身运行状态、MQTT 协议统计、客户端上下线状态到 $SYS/ 开头系统主题。$SYS 主题路径以 “$SYS/brokers/{node}/” 开头，’${node}’ 是 Erlang 节点名称 系统主题主要包括一下…...

编程日记 2024/11/7 12:47:48

网站每月流量/东莞做网站优化

2019独角兽企业重金招聘Python工程师标准>>> class Person_Tbl(models.Model): 定义人物类 name models.CharField(max_length254,default) #姓名 sex models.CharField(max_length125,default) …...

编程日记 2024/11/7 5:26:06

企业网站建设哪里做网站好/互联网广告投放平台加盟

创建新用户进入Mysql shell 输入下面命令创建用户：CREATE USER newuserlocalhost IDENTIFIED BY password;替换 newuser 和 password 为你的信息。这里创建出的用户还没有任何权限，不能操作数据库，甚至不能登录到mysql shell。因此&#xff0…...

编程日记 2024/11/7 1:51:34