当前位置： 首页 > news >正文

04_Redis与mysql数据双写一致性案例

news 文章来源：https://blog.csdn.net/Loser_you/article/details/132379791 2024/11/17 10:48:31

04——redis与mysql数据双写一致性

一、canal

  1. 是什么

    canal[ka’nel,中文翻译为水道/管道/沟渠/运河，主要用途是用于MySQL数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的,采用Java语言开发；

    历史背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基野业务tig9er(触发器)获取增量变更。从2010年开始，阿里巴巴逐步尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal 项目；

  2. 能干嘛

    1. 数据库镜像

    2. 数据库实时备份

    3. 索引构建和实时维护（拆分异构索引、倒排索引等）

    4. 业务cache刷新

    5. 带业务逻辑的增量数据处理

  3. 下载地址

二、工作原理

  1. 传统mysql主从复制工作原理

    image-20230308221044481

    MySQL的主从复制将经过如下步骤：

    1、当master主服务器上的数据发生改变时，则将其改变写入二进制事件日志文件中；

    2、salve从服务器会在一定时间间隔内对master主服务器上的二进制日志进行探测，探测其是否发生过改变，

    如果探测到master主服务器的二进制事件日志发生了改变，则开始一个/O Thread请求master二进制事件日志；

    3、同时master主服务器为每个l/O Thread启动一个dump Thread,用于向其发送二进制事件日志；

    4、slve从服务器将接收到的二进制事件日志保存至自己本地的中继日志文件中；

    S、save从服务器将启动SQL Thread从中继日志中读取二进制日志，在本地重放，使得其数据和主服务器保持一致；

    6、最后l/O Thread和SQL Thread将进入睡眠状态，等待下一次被唤醒；

  2. canal工作原理

    image-20230308221329535

    canal模拟MySQL slave的交互协议，伪装自己为MySQL slave,向MySQL master发送dump协议

    1. MySQL master收到dump请求，开始推送binary log给slave(即canal)

    2. canal解析binary log对象（原始为byte流）

三、mysql-canal-redis双写一致性

相关文章：

04_Redis与mysql数据双写一致性案例

04——redis与mysql数据双写一致性 一、canal 是什么 canal[ka’nel,中文翻译为水道/管道/沟渠/运河，主要用途是用于MySQL数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的,采用Java语言开发； 历史背景是早期阿里巴巴因为杭州和…...

编程日记 2023/8/21 4:03:57

vue的开发者工具下载『保姆级别』

1.先进官网 极简插件_Chrome扩展插件商店_优质crx应用下载 (zzzmh.cn) 2.搜索vue devtools，点击进去 3.下载插件 4.下载到文件下你自己的文件下：我的是下载到E盘下。 5.压缩到当前目录下 6.电脑进入拓展程序（不同的浏览器操作不同&#xff…...

编程日记 2023/8/21 4:02:56

vue的scrollTop手机环境设置值失效，本地正常可以赋值

获取div盒子ref或者document获取都行 监听方法 一定要加this.$nexttick,在本地测试只用nexttick是没有问题的，但是到手机测试就不行了，原因是因为手机渲染比本地更快，所以结合setTimeout使用 如果有更好的处理方法，恳请大佬指点一…...

编程日记 2023/8/21 4:01:51

[前端系列第7弹]Vue：一个渐进式的 JavaScript 框架

Vue 是一个用于构建用户界面的 JavaScript 框架，它具有以下特点： 渐进式：Vue 可以根据不同的使用场景，灵活地选择使用库或者框架的方式，从而实现渐进式的开发。响应式：Vue 通过数据绑定和虚拟 DOM 技术&am…...

编程日记 2023/8/21 4:00:50

C#键盘按键对应Keys类大全

...

编程日记 2023/8/21 3:59:48

SpringBoot 学习(03): 弱语言的注解和SpringBoot注解的异同

弱语言代表：Hyperf，一个基于 PHP Swoole 扩展的常驻内存框架 注解概念的举例说明； 说白了就是，你当领导，破烂事让秘书帮你去安排，你只需要批注一下，例如下周要举办一场活动，秘书将方…...

编程日记 2023/8/21 3:58:46

CloudQuery：更好地管理你的 OceanBase 数据库

前言：作为 OceanBase 的生态合作伙伴，CloudQuery（简称“CQ”） 最新发布的社区版 2.2.0 新增了 OceanBase 数据库，为企业使用 OceanBase 数据库提供全面的支持。包括连接与认证、查询与分析、数据安全与权限管理&#x…...

编程日记 2023/8/21 3:57:44

php的password_verify 和 password_hash密码验证

password_hash() 使用足够强度的单向散列算法创建密码的散列(hash)。 当前支持的算法： PASSWORD_DEFAULT - 使用 bcrypt 算法 (PHP 5.5.0 默认)。 注意，该常量会随着 PHP 加入更新更高强度的算法而改变。 所以，使用此常量生成结果的长度将在未…...

编程日记 2023/8/21 3:56:42

JAVA免杀学习与实验

1 认识Webshell 创建一个JSP文件&#xff1a; <% page import"java.io.InputStream" %> <% page import"java.io.BufferedReader" %> <% page import"java.io.InputStreamReader" %> <% page language"java" p…...

编程日记 2023/8/21 3:55:42

Apche Kafka + Spring的消息监听容器

目录 一、消息的接收1.1、消息监听器 二、消息监听容器2.1、 实现方法2.1.1、KafkaMessageListenerContainer2.1.1.1、 基本概念2.1.1.2、如何使用 KafkaMessageListenerContainer 2.1.2、ConcurrentMessageListenerContainer 三、偏移 四、监听器容器自动启动 一、消息的接收 …...

编程日记 2023/8/21 3:54:41

[JavaWeb]【五】web后端开发-Tomcat SpringBoot解析

目录 一 介绍Tomcat 二 基本使用 2.1 解压绿色版 2.2 启动TOMCAT 2.3 关闭TOMCAT 2.4 常见问题 2.5 修改端口号 2.6 部署应用程序 三 SpringBootWeb入门程序解析 前言&#xff1a;tomcat与SpringBoot解析 一 介绍Tomcat 二 基本使用 2.1 解压绿色版 2.2 启动TOMCAT 2…...

编程日记 2023/8/21 3:53:40

css 用过渡实现，鼠标离开li时，背景色缓慢消息的样式

要实现鼠标悬停时背景颜色变为黄色&#xff0c;鼠标离开时背景颜色慢慢消失并变回白色的效果&#xff0c; 可以使用CSS的过渡&#xff08;transition&#xff09;属性 li {background: #fff;color: #000;transition: background 0.5s ease-out; }li:hover {background: #fbb31…...

编程日记 2023/8/21 3:52:38

pytorch 线性层Linear详解

线性层就是全连接层&#xff0c;以一个输入特征数为2&#xff0c;输出特征数为3的线性层为例&#xff0c;其网络结构如下图所示&#xff1a; 输入输出数据的关系如下&#xff1a; 写成矩阵的形式就是&#xff1a; 下面通过代码进行验证&#xff1a; import torch.nn as nn …...

编程日记 2023/8/21 3:51:34

LeetCode 833. 字符串中的查找与替换

2235. 两整数相加 添加链接描述 给你两个整数 num1 和 num2&#xff0c;返回这两个整数的和。 示例 1&#xff1a; 输入&#xff1a;num1 12, num2 5 输出&#xff1a;17 解释&#xff1a;num1 是 12&#xff0c;num2 是 5 &#xff0c;它们的和是 12 5 17 &#xff0c;…...

编程日记 2023/8/21 3:50:32

Oracle故障案例之-19C时区补丁DSTV38更新

&#x1f4e2;&#x1f4e2;&#x1f4e2;&#x1f4e3;&#x1f4e3;&#x1f4e3; 哈喽&#xff01;大家好&#xff0c;我是【IT邦德】&#xff0c;江湖人称jeames007&#xff0c;10余年DBA工作经验 一位上进心十足的【大数据领域博主】&#xff01;&#x1f61c;&#x1f61…...

编程日记 2023/8/21 3:49:30

设计模式之组合模式（Composite）的C++实现

1、组合模式的提出 在软件开发过程中&#xff0c;使用者Client过多依赖所操作对象内部的实现结构&#xff0c;如果对象内部的实现结构频繁发生变化&#xff0c;则使用者的代码结构将要频繁地修改&#xff0c;不利于代码地维护和扩展性&#xff1b;组合模式可以解决此类问题。组…...

编程日记 2023/8/21 3:48:28

mongo的include方法踩坑

前言 又是不认识自己代码的一天 问题 Query query new Query(); if(StringUtils.isNotNull(reqVO.getFieldLimitList()) && reqVO.getFieldLimitList().size() > 0){for(String filedName : reqVO.getFieldLimitList()){query.fields().include(filedName);} }看到…...

编程日记 2023/8/21 3:47:25

阿里云无影云电脑/云桌面收费价格表_使用申请方法

阿里云无影云电脑配置具体收费价格表&#xff0c;4核8G企业办公型云电脑可以免费使用3个月&#xff0c;无影云电脑地域不同价格不同&#xff0c;无影云电脑费用是由云桌面配置、云盘、互联网访问带宽、AD Connector 、桌面组共用桌面session 等费用组成&#xff0c;阿里云百科分…...

编程日记 2023/8/21 3:46:24

jvm内存溢出排查（使用idea自带的内存泄漏分析工具)

文章目录 1.确保生成内存溢出文件2.使用idea自带的内存泄漏分析工具3.具体实验一下 1.确保生成内存溢出文件 想分析堆内存溢出&#xff0c;一定在运行jar包时就写上参数-XX:HeapDumpOnOutOfMemoryError&#xff0c;可以看我之前关于如何运行jar包的文章。若你没有写。可以写上…...

编程日记 2023/8/21 3:45:22

JS内存泄漏

JS内存泄漏 1.意外的全局变量 全局变量的生命周期很长&#xff0c;直到页面关闭&#xff0c;它都存活&#xff0c;所以全局变量上的内存一直都不会被回收 当全局变量使用不当&#xff0c;没有及时回收&#xff08;手动赋值null&#xff09;&#xff0c;或者拼写错误等将某个变…...

编程日记 2023/8/21 3:44:22

线程和进程同步互斥你真的掌握了吗？（同步互斥机制保姆级讲解与应用）

目录 同步互斥的概念 互斥锁 初始化互斥锁 销毁互斥锁 申请上锁 解锁 案例1&#xff1a;没有互斥锁 多任务的运行情况 案例2&#xff1a;有互斥锁 多任务的运行情况 死锁 读写锁 初始化读写锁 销毁读写锁 申请读锁 申请写锁 释放读写锁 案例&#xff1a;两个任务…...

编程日记 2023/8/21 3:43:20

Android 9.0 Vold挂载流程解析（上）

前言 我们分2篇文章来介绍Android 9.0中存储卡的挂载流程&#xff0c;本篇文章先介绍总体的挂载模块、Vold进程的入口main函数的详细分析&#xff0c;有了这些基础知识&#xff0c;下一篇中我们再详细介绍收到驱动层消息是怎么挂载和卸载存储卡的&#xff0c;还有framework层如…...

编程日记 2023/8/21 3:42:16

界面组件Telerik UI for WinForms R2 2023——拥有VS2022暗黑主题

Telerik UI for WinForms拥有适用Windows Forms的110多个令人惊叹的UI控件。所有的UI for WinForms控件都具有完整的主题支持&#xff0c;可以轻松地帮助开发人员在桌面和平板电脑应用程序提供一致美观的下一代用户体验。 Telerik UI for WinForms R2 2023于今年6月份发布&…...

编程日记 2023/8/21 3:41:15

vue+elementui 实现文本超出长度显示省略号，鼠标移上悬浮展示全部内容

一、场景 表单内的输入框一般为固定宽度&#xff0c;当输入框内容长度超出输入框宽度时&#xff0c;需要显示省略号&#xff0c;并设置鼠标移到输入框上时悬浮展示全部内容。 <el-tooltipplacement"top-start"effect"light":content"basicData[Or…...

编程日记 2023/8/21 3:40:14

【STM32RT-Thread零基础入门】 5. 线程创建应用（线程创建、删除、初始化、脱离、启动、睡眠）

硬件&#xff1a;STM32F103ZET6、ST-LINK、usb转串口工具、4个LED灯、1个蜂鸣器、4个1k电阻、2个按键、面包板、杜邦线 文章目录 前言一、线程管理接口介绍二、任务&#xff1a;使用多线程的方式同时实现led闪烁和按键控制喇叭&#xff08;扫描法&#xff09;1. RT-Thread相关接…...

编程日记 2023/8/21 3:39:13

计算机竞赛 python+深度学习+opencv实现植物识别算法系统

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 基于深度学习的植物识别算法研究与实现 &#x1f947;学长这里给一个题目综合评分(每项满分5分) 难度系数&#xff1a;4分工作量&#xff1a;4分创新点&#xff1a;4分 &#x1f9ff; 更多…...

编程日记 2023/8/21 3:38:12

深度探索ChatGPT：如何进行专业提问以获取精确答案

ChatGPT&#xff0c;作为OpenAI的先锋&#xff0c;已经展示出其惊人的交流和理解能力。但如何才能充分利用其潜能&#xff0c;并与之进行更深入、更专业的交流呢? 下面&#xff0c;我们将从专业的角度探讨一些提问策略&#xff0c;并附上实际案例&#xff0c;让你更加熟练地与…...

编程日记 2023/8/21 3:37:08

1.vue3+vite开发中axios使用及跨域问题解决

一、跨域问题解决 1.基于vitevue3配置时&#xff0c;在vite.congig.js文件server项目中添加 proxy代理 文件名&#xff1a;vite.congig.js server: {open: true,//启动项目自动弹出浏览器port: 3000,proxy: {/api: {target: http://localhost:8000/api/,changeOrigin: true,rew…...

编程日记 2023/8/21 3:36:07

【LangChain】P1 LangChain 应用程序的核心构建模块 LLMChain 以及其三大部分

LangChain 的核心构建模块 LLMChain LangChain 应用程序的核心构建模块语言模型 - LLMs提示模板 - Prompt templates输出解析器 - Output Parsers LLMChain 组合 LangChain 应用程序的核心构建模块 LangChain 应用程序的核心构建模块 LLMChain 由三部分组成&#xff1a; 语言…...

编程日记 2023/8/21 3:35:02

关于查看处理端口号和进程[linux]

查看端口号 lsof -i:端口号如果-bash: lsof: 未找到命令那我们可以执行yum install lsof 删除端口号进程 一般我们都会使用kill命令 kill -l#列出所有可用信号1 (HUP)&#xff1a;重新加载进程。9 (KILL)&#xff1a;杀死一个进程。15 (TERM)&#xff1a;正常停止一个进程。 …...

编程日记 2023/8/21 3:34:01

做公寓酒店跟网站合作有什么技巧/百度营销搜索推广

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8nzIWCwO-1595910345969)(https://img.alicdn.com/tfs/TB1Vsk1PkL0gK0jSZFtXXXQCXXa-640-120.gif)] 发布会传送门 查看产品详情 近日&#xff0c;”万仓计划”发布会由阿里云智能数据库事业部总负责…...

编程日记 2024/11/17 9:42:32

建材公司网站建设方案/网址大全

目录 [隐藏] 1 环境与软件2 第一步&#xff1a;安装MinGW3 第二步&#xff1a;配置编译环境4 第三步&#xff1a;配置SDL5 第四步&#xff1a;编译 5.1 编译faac5.2 编译fdk-aac5.3 编译x2645.4 配置ffmpeg 6 第五步&#xff1a;利用eclipse编译ffmpeg7 第六步&#xff1a;调试…...

编程日记 2024/11/17 7:30:54

肇庆专业网站建设服务/爱站网关键词查询工具

在微信开放平台基础高级产品经理林兴演讲的当场&#xff0c;他爆料了微信小程序一个轰动性新能力&#xff1a;小程序很快可以支持各个 App 直接打开小程序&#xff01;没错&#xff0c;你没有听错&#xff0c;简单来说&#xff0c;在不久以后&#xff0c;所有的 App 里面都可以…...

编程日记 2024/11/17 6:52:09

做网站要准备什么/网络推广服务合同范本

字节跳动的前端一直是大热之选&#xff0c;薪资和技术都是国内的最前沿。本文将为大家简单介绍一下字节技术岗的职级体系和相应的技术要求。并给大家分享一套高质量面试题&#xff1a;「由字节资深前端大佬整理的100道高频面试题」&#xff0c;祝大家求职顺利&#xff01;字节跳…...

编程日记 2024/11/17 6:27:51

网站建设包含以下哪些建设阶段/福建seo顾问

总线是计算机各种功能部件之间传送信息的公共通信干线&#xff0c;是由导线组成的传输线束。微机中有三种总线&#xff1a;数据总线、地址总线和控制总线&#xff1b;它们分别用来传输数据、数据地址和控制信号。本文操作环境&#xff1a;windows10系统、thinkpad t480电脑。相…...

编程日记 2024/11/17 5:57:26

dynamik wordpress/推广普通话黑板报

1) 如果你同时从同一客户插入很多行&#xff0c;使用多个值表的INSERT语句。这比使用分开INSERT语句快(在一些情况中几倍)。 Insert into test values(1,2),(1,3),(1,4)…2) 如果你从不同客户插入很多行&#xff0c;能通过使用INSERT DELAYED语句得到更高的速度。Delayed的含…...

编程日记 2024/11/17 5:47:19