k8s 部署 canal 集群,RocketMQ 模式
k8s 部署 canal 集群,RocketMQ 模式
- k8s 部署 canal 集群,RocketMQ 模式
- 前提
- MySQL
- RocketMQ
- 制作 canal-admin、canal-server 镜像
- 部署 zookeeper
- 部署 canal-admin
- 部署 canal-server
- 测试
k8s 部署 canal 集群,RocketMQ 模式
前提
MySQL
开启 binlog 的 MySQL 服务器:192.168.59.1:3306
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复
具有 slave 权限的账号:用户名 canal,密码:canal
CREATE USER canal IDENTIFIED BY 'canal';
-- GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;
RocketMQ
RocketMQ 地址:192.168.56.1:9876
创建 tipoc:canal_test
RocketMQ-Dashboard 地址:192.168.56.1:8080,便于查看消息
制作 canal-admin、canal-server 镜像
由于 canal:v1.1.7 有一个 bug com.alibaba.otter.canal.server.embedded.CanalServerWithEmbedded isn’t start , please check · Issue #4930 ,而官方已经在 Release 1.1.8-alpha 中修复了这个问题,但没有发布官方的 docker 镜像,所以需要自己制作镜像。以下是我制作的镜像,已发布到 dockerhub,可直接使用
zhaobingshuang/canal-admin:v1.1.8-alpha
zhaobingshuang/canal-server:v1.1.8-alpha
部署 zookeeper
zk-configmap.yaml
数据目录配置为 /data
apiVersion: v1
kind: ConfigMap
metadata:name: zk-configmap
data:"zoo.cfg": |tickTime=2000dataDir=/dataclientPort=2181
zk-pvc.yaml
数据目录持久化
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: zk-data-pvc
spec:resources:requests:storage: 2GiaccessModes:- ReadWriteOnce
zk-deployment.yaml
无状态服务
将 zk-data-pvc 挂载到数据目录 /data,将 zk-configmap 的 zoo.cfg 挂载到 /conf/zoo.cfg 文件
apiVersion: apps/v1
kind: Deployment
metadata:name: zk
spec:replicas: 1selector:matchLabels:app: zktemplate:metadata:labels:app: zkspec:containers:- name: zkimage: zookeeperports:- containerPort: 2181name: servevolumeMounts:- mountPath: /dataname: zk-persistent-storage- mountPath: /confname: zk-configreadOnly: truevolumes:- name: zk-persistent-storagepersistentVolumeClaim:claimName: zk-data-pvc- name: zk-configconfigMap:name: zk-configmapitems:- key: zoo.cfgpath: zoo.cfg
zk-service.yaml
apiVersion: v1
kind: Service
metadata:name: zk
spec:selector:app: zkports:- protocol: TCPport: 2181targetPort: 2181type: ClusterIPclusterIP: None
执行以下命令
kubectl apply -f zk-configmap.yaml
kubectl apply -f zk-pvc.yaml
kubectl apply -f zk-deployment.yaml
kubectl apply -f zk-service.yaml
打开 kubernetes-dashboard,进入 zk pod 验证。
执行 create /cluster_1
创建 znode,为之后 canal-admin 创建集群使用。
部署 canal-admin
执行 manager.sql 初始化数据库。
canal-admin-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: canal-admin-configmap
data:"server.port": "8089""spring.datasource.address": "192.168.59.1:3306""spring.datasource.database": "canal_manager""spring.datasource.username": "canal""spring.datasource.password": "canal""canal.adminPasswd": "admin"
canal-admin-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: canal-admin
spec:selector:matchLabels:app: canal-admintemplate:metadata:labels:app: canal-adminspec:containers:- name: canal-adminimage: zhaobingshuang/canal-admin:v1.1.8-alphaports:- containerPort: 8089envFrom:- configMapRef:name: canal-admin-configmap
canal-admin-service.yaml
apiVersion: v1
kind: Service
metadata:name: canal-admin
spec:selector:app: canal-adminports:- protocol: TCPport: 8089targetPort: 8089type: ClusterIP
canal-admin-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: canal-adminannotations:nginx.ingress.kubernetes.io/rewrite-target: /
spec:ingressClassName: nginxrules:- host: canal-admin.comhttp:paths:- path: /pathType: Prefixbackend:service:name: canal-adminport:number: 8089
执行以下命令
kubectl apply -f canal-admin-configmap.yaml
kubectl apply -f canal-admin-deployment.yaml
kubectl apply -f canal-admin-service.yaml
kubectl apply -f canal-admin-ingress.yaml
zhaobingshuang/canal-admin:v1.1.8-alpha 镜像比较大,需要等待一段时间等待,等 pod canal-admin 启动后,浏览器访问 http://canal-admin.com/。
用户名:admin,密码:123456
创建集群,集群名称:cluster_1,ZK 地址:zk:2181/cluster_1
点击主配置 -> 载入模板
修改以下配置:
canal.zkServers =zk:2181/cluster_1
canal.serverMode = rocketMQ
canal.instance.global.spring.xml = classpath:spring/default-instance.xmlrocketmq.namesrv.addr = 192.168.56.1:9876
rocketmq.tag =canal
部署 canal-server
canal-server-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: canal-server-configmap
data:canal.admin.manager: "canal-admin:8089"canal.admin.port: "11110"canal.admin.user: "admin"canal.admin.passwd: "4ACFE3202A5FF5CF467898FC58AAB1D615029441"canal.admin.register.auto: "true"canal.admin.register.cluster: "cluster_1"
canal-server-service.yaml
apiVersion: v1
kind: Service
metadata:name: canal-server-headless
spec:selector:app: canal-serverports:- port: 11110name: admin- port: 11111name: tcp- port: 11112name: metrictype: ClusterIPclusterIP: None
canal-server-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:name: canal-server
spec:replicas: 1selector:matchLabels:app: canal-serverserviceName: canal-server-headlesstemplate:metadata:labels:app: canal-serverspec:containers:- name: canal-serverimage: zhaobingshuang/canal-server:v1.1.8-alphaenvFrom:- configMapRef:name: canal-server-configmapenv:- name: POD_NAMESPACEvalueFrom:fieldRef:fieldPath: "metadata.namespace"- name: POD_HOSTvalueFrom:fieldRef:fieldPath: "metadata.name"- name: RAW_NAMEvalueFrom:fieldRef:fieldPath: "metadata.labels['app']"- name: canal.register.ipvalue: $(POD_HOST).$(RAW_NAME)-headless.$(POD_NAMESPACE)- name: canal.admin.register.namevalue: $(POD_HOST)ports:- containerPort: 11110name: admin- containerPort: 11111name: tcp- containerPort: 11112name: metric
执行以下命令:
kubectl apply -f canal-server-configmap.yaml
kubectl apply -f canal-server-service.yaml
kubectl apply -f canal-server-statefulset.yaml
等 pod canal-server启动后,查看 Server 管理
测试
载入模板,修改以下配置之后保存:
canal.instance.master.address=192.168.59.1:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.filter.regex=test\\..*
canal.mq.topic=canal_test
启动实例
执行以下 SQL,创建数据库、创建表、插入数据:
CREATE DATABASE IF NOT EXISTS test;
USE test;
CREATE TABLE `table_1` (`id` int NOT NULL,`name` varchar(50) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
INSERT INTO table_1 VALUES(1, 'tom');
INSERT INTO table_1 VALUES(2, 'jack')
浏览器访问 http://192.168.56.1:8080/ 打开 RocketMQ-Dashboard 查看 canal_test 的消息:
相关文章:
k8s 部署 canal 集群,RocketMQ 模式
k8s 部署 canal 集群,RocketMQ 模式 k8s 部署 canal 集群,RocketMQ 模式前提MySQLRocketMQ制作 canal-admin、canal-server 镜像 部署 zookeeper部署 canal-admin部署 canal-server测试 k8s 部署 canal 集群,RocketMQ 模式 前提 MySQL 开启…...
Android+OnnxRuntime+Opencv+Onnx模型操作图片擦除多余内容
今年来AI的发展非常迅速,在工业、医疗等等行业逐渐出现相应的解决方案,AI也逐渐成为各行业基础设施建设重要的一环,未来发展的大趋势,不过这也需要一个漫长的过程,需要很多技术型人才加入其中,除了工业设施的基础建设,在娱乐方向也有很多有趣的能力,不如图片/视频换背景…...
【CANoe】CAPL_E2E测试-验证报文中的CRC值是否正确
文章目录 一、背景二、CRC校验算法实现_dll制作三、CAPL脚本编写四、测试结果4.1、Write输出窗口4.2、测试报告截图一、背景 在嵌入式软件开发过程中,对于一些报文,需要实现安全发送与安全接收,这就涉及到CRC和RollingCounter。整车和MCU通讯的报文需要对方进行校验才能正确…...
Linux云计算之网络基础8——IPV6和常用网络服务
目录 一、IPV6基础 IPV6详解 IPv6数据报的基本首部 IPv6数据报的扩展首部 IPv6地址的表示方法 IPv6地址分类 网际控制报文协议ICMPv6 二、cisco基于IPV6的配置 cisco基于IPV6的配置步骤 模拟配置 三、HTML基础介绍 文档的结构 动手操作一下 四、常用网络服务介绍…...
页面刚加载的时候显示自己定义的{{***}}然后一闪而过
这时候别用插值表达式语法了,直接用v-text或者v-html就能解决这个问题 但是有个问题,如下图所示: 具体bind使用方式,如下图所示: 但是v-bind也可以进行简写,就是去掉v-bind,直接写:…...
python批量转化pdf图片为jpg图片
1.把pdf图片批量转为jpg;需要注意的是,需要先安装poppler这个软件,具体安装教程放在下面代码中了 2.代码 #poppler安装教程参考:https://blog.csdn.net/wy01415/article/details/110257130 #windows上poppler下载链接:…...
玫瑰图和雷达图(自备)
目录 玫瑰图 数据格式 绘图基础 绘图升级(文本调整) 玫瑰图 下载数据data/2020/2020-11-24 mirrors_rfordatascience/tidytuesday - 码云 - 开源中国 (gitee.com) R语言绘图—南丁格尔玫瑰图 - 知乎 (zhihu.com) 数据格式 rm(list ls()) libr…...
动态规划基础
动态规划 1、动态规划的概念 简称DP,通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。常常适用于有重叠子问题和最优子结构性质的问题。 简单来说,就是给定一个问题,把它拆成一个个子问题,查到子问题可以直接解决。然后把子问题答案保存起来,以减少重复计算…...
kubeadm部署的k8s1.29集群证书更新
1、查看证书有效期 kubeadm certs check-expiration更新证书前: [check-expiration] Reading configuration from the cluster... [check-expiration] FYI: You can look at this config file with kubectl -n kube-system get cm kubeadm-config -o yamlCERTIFIC…...
【A 类比赛】大学生学科竞赛智慧应用场景题目大全
智能应用的多彩场景:未来生活的无限可能 随着科技的飞速发展,智能应用已经渗透到我们生活的方方面面,它们不仅极大地提高了工作效率,也丰富了我们的生活体验。从家庭到工作场所,从城市到乡村,智能应用正在…...
Yarn的安装和使用(2):使用及问题解决
Yarn是JavaScript的依赖管理工具,它与npm类似,但提供了一些额外的性能优化和一致性保证。 Yarn的使用: 初始化项目: yarn init 此命令会引导您创建一个新的package.json文件,用于记录项目的元信息和依赖。 添加依赖&…...
如何在Bash中连接字符串变量
问题: 在 PHP 中,字符串按如下方式连接在一起: $foo "Hello"; $foo . " World";在这里,$foo 变成了 "Hello World"。 在 Bash 中如何实现这一点? 回答1: foo"Hello" fo…...
doesn‘t contain a valid partition table
查看硬盘空间 $ fdisk -l Disk /dev/mmcblk0: 29 GB, 31037849600 bytes, 60620800 sectors 947200 cylinders, 4 heads, 16 sectors/track Units: sectors of 1 * 512 512 bytesDisk /dev/mmcblk0 doesnt contain a valid partition table Disk /dev/mmcblk0p1: 1 MB, 10485…...
modprobe加载驱动模块时报错:modprobe: module xxx.ko not found in modules.dep
问题 使用modprobe时,报错modprobe: module xxx.ko not found in modules.dep: 原因 加载模块时,依赖没法正确添加 解决 在使用modprobe前,调用一下depmod指令,之后再用modprobe加载驱动模块 depmod modprobe interr…...
游戏引擎中的粒子系统
一、粒子基础 粒子系统里有各种发射器(emitter),发射器发射粒子(particle)。 粒子是拥有位置、速度、大小尺寸、颜色和生命周期的3D模型。 粒子的生命周期中,包含产生(Spawn)、与环…...
哈佛大学商业评论 -- 第二篇:增强现实是如何工作的?
AR将全面融入公司发展战略! AR将成为人类和机器之间的新接口! AR将成为人类的关键技术之一! 请将此文转发给您的老板! --- 本文作者:Michael E.Porter和James E.Heppelmann 虽然物理世界是三维的,但大…...
『python爬虫』巨量http代理使用 每天白嫖1000ip(保姆级图文)
目录 注册 实名得到API链接和账密 Python3requests调用Scpay总结 欢迎关注 『python爬虫』 专栏,持续更新中 欢迎关注 『python爬虫』 专栏,持续更新中 注册 实名 注册巨量http 用户概览中领取1000ip,在动态代理中使用.用来测试一下还是不错的 得到AP…...
6-95 希尔排序(Java语言描述)
编程实现希尔排序函数。public static void shellSort(int arr[])。其中arr存放待排序的数据,数组长度不大于1000。 函数接口定义: /* 对长度为n的数组arr执行希尔排序 */ public static void shellSort(int arr[]); 请实现 shellSort函数,使排序后的数据从小到大排列。…...
JAVA面试大全之分布式篇
目录 1、一致性算法 1.1、什么是分布式系统的副本一致性?有哪些? 1.2、在分布式系统中有哪些常见的一致性算法?...
qt各种锁使用讲解
在Qt中,主要有以下几种锁的类型: 1. QMutex(互斥锁): 是最常见的锁类型,用于实现简单的互斥访问。可以通过lock()和unlock()手动控制锁的加锁和解锁。 QMutexLocker:是一个RAII类,…...
5.111 BCC工具之ext4dist.py解读
一,工具简介 ext4dist跟踪ext4的读取、写入、打开和fsync操作,并将其延迟总结为2的幂次方直方图。 二,代码示例 #!/usr/bin/env pythonfrom __future__ import print_function from bcc import BPF from time import sleep, strftime import argparse# symbols kallsyms …...
Rust 的 termion 库控制终端光标的位置
在控制台应用程序中,固定打印在屏幕的第一行通常涉及到控制终端光标的位置。Rust 标准库本身并不提供直接控制终端光标位置的功能,但你可以使用第三方库如 termion 来实现这个需求。 termion 是一个用于处理终端的 Rust 库,它提供了很多有用…...
ADB(Android Debug Bridge)操作命令详解及示例
ADB(Android Debug Bridge)是一个强大的命令行工具,它是Android SDK的一部分,主要用于Android设备(包括真实手机和平板电脑以及模拟器)的调试、系统控制和应用程序部署。 下面是一些ADB的常用命令ÿ…...
书生浦语训练营2期-第二节课笔记作业
目录 一、前置准备 1.1 电脑操作系统:windows 11 1.2 前置服务安装(避免访问127.0.0.1被拒绝) 1.2.1 iis安装并重启 1.2.2 openssh安装 1.2.3 openssh服务更改为自动模式 1.2.4 书生浦语平台 ssh配置 1.3 补充(前置服务ok…...
【日常积累】指定ruby版本环境安装
背景说明 在redis的5.0版本之前,使用redis提供的redis-trib创建redis集群时还需要依赖ruby环境。当然有时候我们自已也需要安装指定ruby版本环境。下面是安装时的大致过程,以及过程中遇到的问题解决。我使用的环境是centos7,小版本差别应该不…...
SOC内部集成网络MAC外设+ PHY网络芯片方案:MII/RMII 接口与 MDIO 接口
一. 简介 本文来了解一下常用的一种网络硬件方案:SOC内部集成网络MAC外设 PHY网络芯片方案。 其中涉及的 MII接口,RMII接口(MII接口与RMII接口二选一),MDIO接口,RJ45。 二. MII/RMII 接口,M…...
简单了解HTTP和HTTPS
HTTP的安全问题? 我们都知道HTTP是不安全的,而HTTPS是安全的,那HTTP有哪些安全问题呢?(考虑传输过程以及响应方) 明文传输,有窃听风险:HTTP协议无法加密数据,所有通信数…...
系列学习前端之第 9 章:一文搞懂 Node.js 和 nvm,掌握 npm
1、说说 Node.js Node.js 本质上是一款应用软件(本质上与QQ、微信一样),它可以运行 JavaScript 代码,这样就使得 JavaScript 能够脱离浏览器运行。Node.js 是基于 Google 的 V8 引擎,V8引擎执行 Javascript 的速度非常…...
超强命令行解析工具Apache Commons CLI
概述 为什么要写这篇文章呢?因为在读flink cdc3.0源码的时候发现了这个工具包,感觉很牛,之前写过shell命令,shell是用getopts来处理命令行参数的,但是其实写起来很麻烦,长时间不写已经完全忘记了,现在才发现原来java也有这种工具类,所以先学习一下这个的使用,也许之后自己在写…...
JAVAEE——多线程进阶,锁策略
文章目录 锁策略乐观锁和悲观锁乐观锁悲观锁两者的比较 读写锁重量级锁和轻量级锁重量级锁轻量级锁 自旋锁公平锁和非公平锁公平锁非公平锁 可重入锁和不可重入锁可重入锁不可重入锁 锁策略 乐观锁和悲观锁 乐观锁 什么是乐观锁呢?我们可以认为乐观锁比较自信&am…...
h5网站怎么做的/百度一下官方网
如果我们将镜像推送到了Docker注册中心,可以从任何想要的机器上使用 docker run 命令来恢复并运行该容器。如果将镜像打包成tar包备份到了本地,只需要拷贝或移动该镜像到我们想要的机器上,加载该镜像并运行需要的容器即可。1.备份容器首先&am…...
网站页面一般做多大/爱站网综合查询
在Android SDK Manager 中安装Android 8.1.0 SDK Platform时报错导致无法安装。错误信息:Downloading SDK Platform Android 8.1.0, API 27, revision 1 Download finished with wrong size. Expected 65606517 bytes, got 65738431 bytes.1、如图在SDK Manager中选…...
网站怎样做301/深圳网站关键词优化公司
package cn.itcast; import java.io.FileWriter; import java.io.IOException; import java.io.Writer;/* 字符流入数据 writer発中的方法: void write(int ch),; 一次写一个字符 void write(charll chs, int index, int l ; 一次写一个指定的字符敷组en) ; void write (Strine…...
南通通州区网站制作/seo优化软件购买
计算机网络 网络层 【4-18】 请回答下列问题: Q: (1) 有人认为: "ARP 协议向网络层提供了转换地址的服务, 因此ARP 应当属于数据链路层。”这种说法为什么是错误的? (2) 试解释为什么ARP 高速缓存每存入一个…...
有道云笔记 wordpress/自己做网站
亲爱的《烈焰手游》玩家:您们好!感谢大家从《烈焰》手游的支持与厚爱!为了给大家提供更加优质的游戏环境,感受更多的游戏乐趣,提高游戏的可玩性和互动性,应广大玩家的需求,我们将对部分服进行合服操作,以下…...
公司装修效果图办公室/网店seo关键词
很简单,这个问题是这样的,su 或者 su root:的话只是将当前身份转为root,用户shell并没有改变.所以有些系统命令不能使用. su -或者su -l或者su -l root,可以完全的将当前环境转为root环境.如同root直接登陆. 其次,serv…...