Docker 搭建KingbaseES主备流复制

---

author: aming
email: [e-mail]
title: Docker 安装KingbaseES读写分离集群
creation_date: 2023-02-16 13:59
Last modified date: 2023-02-16 19:18
tags: Docker 安装KingbaseES读写分离集群
File Folder with relative path: reading notes/doc/Docker技术入门与实战
remark:
other:

本章背景知识

大体步骤参考：[[流复制–V8R6手工搭建]]
docker安装集群 - 技术干货 - 金仓社区 (kingbase.com.cn)
本章使用三节点容器搭建主备流复制集群。

一、容器节点 IP规划

IP规划：
192.168.20.111	--节点一主机IP（主节点）
192.168.20.112	--节点二主机IP（备节点）
192.168.20.113	--节点三主机IP（备节点）

二、容器信息规划

部分	说明
IP: 端口	192.168.20.111:54321，192.168.20.112:54322，192.168.20.113:54 323。
主机名称	c_node1，c_node2，c_node3。
容器名称	kcm_kingbase01，kcm_kingbase02，kcm_kingbase03。

三、宿主机环境准备

1、下载网盘中的镜像 kignbase.v8r6c5b23.tar
2、将镜像导入 Docker 服务器中。

$ docker load -i kignbase.v8r6c5b23.tar 

3、查看是否导入成功。

$ docker images
REPOSITORY    TAG        IMAGE ID       CREATED         SIZE
kesimg86523   latest     64f5d3730270   24 hours ago    2.6GB

4、创建 Docker 容器私有网络。

$ docker network create --subnet=192.168.20.0/24 kcmnet

编者注：由于 Docker 自带的网络接口不允许指定静态 IP 地址，所以需要新建私有网络。

LAB01-Docker 容器准备

如果需要清空环境则需要执行以下命令。
```bash
docker rm -f `docker ps -aq`
```
此命令非常危险请只在测试环境上操作。

1、创建流复制所需的容器。

docker run -itd --privileged -h c_node1 --name kcm_kingbase01 --net kcmnet --ip 192.168.20.111  -p 54321:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/initdocker run -itd  --privileged -h c_node2 --name kcm_kingbase02  --net kcmnet --ip 192.168.20.112  -p 54322:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/initdocker run -itd  --privileged -h c_node3 --name kcm_kingbase03 --net kcmnet  --ip 192.168.20.113  -p 54323:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/init

2、命令说明。

选项	说明
-it	使用 tty 伪终端，并进入交互式模式。
-d	使用守护进程运行容器。
-h	容器主机名。
–restart-=on-faulure: 3	当容器故障退出，重启 3 次，3 次之后不会再重启。
–net kcmnet	指定流复制私有网络环境。

LAB02-备节点数据目录清空

1、请执行以下操作进入 kcm_kingbase02, kcm_kingbase03 容器。
2、删除 kcm_kingbase02 数据目录。

docker$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash
<contanier>$ sys_ctl stop 
<contanier>$ rm -rf /home/kingbase/data/*
<contanier>$ rm -rf /home/kingbase/data/.wallet
<contanier>$ exit

3、删除 kcm_kingbase03 数据目录。

docker$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash
<contanier>$ sys_ctl stop 
<contanier>$ rm -rf /home/kingbase/data/*
<contanier>$ rm -rf /home/kingbase/data/.wallet
<contanier>$ exit

LAB03-容器主机名解析

一、所有容器配置 host 文件

1、c_node1。

$ docker exec -u root -it kcm_kingbase01 vi /etc/hosts------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

2、c_node2。

$ docker exec -u root -it kcm_kingbase02 vi /etc/hosts
------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

3、c_node3。

$ docker exec -u root -it kcm_kingbase03 vi /etc/hosts
------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

二、验证主机名解析正确

1、node1。

docker exec -u root -it kcm_kingbase01 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase01 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase01 ping -c 4 c_node3

2、node2。

docker exec -u root -it kcm_kingbase02 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase02 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase02 ping -c 4 c_node3

3、node3。

docker exec -u root -it kcm_kingbase03 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase03 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase03 ping -c 4 c_node3

LAB04-配置主节点（c_node 1）

一、配置归档及流复制参数

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、配置流复制参数。

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf <<EOF
wal_log_hints=on
wal_level = replica             # minimal, replica, or logical
max_wal_senders = 10            # max number of walsender processes
max_replication_slots = 10
wal_keep_segments = 1024	# in logfile segments, 16MB each; 0 disables 
hot_standby = on
synchronous_commit = on
synchronous_standby_names = '1(c_node1,c_node2,c_node3)'
hot_standby_feedback=on
fsync=on
EOF
echo ''

二、配置主节点 sys_hba. conf 支持 replication

<contanier>$ cat >> $KINGBASE_DATA/sys_hba.conf <<EOF
host replication system 127.0.0.1/32 md5
host replication system 0.0.0.0/0 md5
EOF
echo ''
grep -Ev "^$|#" $KINGBASE_DATA/sys_hba.conf

三、重启主节点数据服务

<contanier>$ sys_ctl restart -D $KINGBASE_DATA

四、在主节点上创建 replication 复制槽

1、查看当前复制槽

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash
<contanier>$  ksql  -U system -d test
# \x 
SELECT * FROM sys_replication_slots;

2、创建复制槽

<contanier>$  ksql  -U system -d test
test# SELECT * FROM sys_create_physical_replication_slot('slot_node2');
test# SELECT * FROM sys_create_physical_replication_slot('slot_node3');
test# SELECT slot_name, slot_type, active FROM sys_replication_slots;

LAB05-配置备节点 (c_node 2)

一、用sys_basebackup全量传输

1、进入 kcm_kingbase 02 备节点。

$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash

2、全量传输数据。

<contanier>$ sys_basebackup -h c_node1 -p 54321 -U system -Fp -X stream -v -P -D $KINGBASE_DATA
ls -lh $KINGBASE_DATA
du -sh $KINGBASE_DATA

二、配置 kingbase. conf

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf << EOF 
primary_conninfo='port=54321 host=c_node1 user=system password=kingbase application_name=c_node2' 
recovery_target_timeline='latest' 
primary_slot_name ='slot_node2'
EOF
touch $KINGBASE_DATA/standby.signal

三、启动备节点并开启流复制

sys_ctl start -D $KINGBASE_DATA
tail -f $KINGBASE_DATA/sys_log/kingbase*.log

LAB06-配置备节点 (c_node 3)

一、用 sys_basebackup 全量传输

1、进入kcm_kingbase02备节点

$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash

2、全量传输数据。

<contanier>$ sys_basebackup -h c_node1 -p 54321 -U system -Fp -X stream -v -P -D $KINGBASE_DATA
ls -lh $KINGBASE_DATA
du -sh $KINGBASE_DATA

二、配置 kingbase.conf

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf << EOF 
primary_conninfo='port=54321 host=c_node1 user=system password=kingbase application_name=c_node3' 
recovery_target_timeline='latest' 
primary_slot_name ='slot_node3'
EOF
touch $KINGBASE_DATA/standby.signal

三、启动备节点并开启流复制

sys_ctl start -D $KINGBASE_DATA
tail -f $KINGBASE_DATA/sys_log/kingbase*.log

LAB07- 验证流复制环境

一、在主节点查看流复制状态

1、进入 kcm_kingbase 01 主节点。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、查看 replication 进程 (主节点上可以看到正在向从节点发送数据流

$ ps -ef|grep -v grep|grep -E 'sender|receiver'

3、查看流复制状态

ksql -U system -d test 
SELECT * FROM sys_stat_replication;

4、查看复制槽信息。

SELECT * FROM sys_replication_slots;

二、在主节点创建测试数据

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、生成测试数据。

<contanier>$ ksql -U system -d test 
CREATE database prod01; 
TEST=# \c prod01 system
CREATE table t01 (id int ,name text);
INSERT INTO t01 SELECT generate_series(1,1000),md5(random());
SELECT * FROM t01 limit 2;

三、在主节点创建测试数据 (c_node 2)

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash

2、查看数据。

SELECT * FROM t01 limit 2;

四、在主节点创建测试数据 (c_node 3)

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash

2、查看数据。

SELECT * FROM t01 limit 2;