KEEPALIVED高可用集群知识大全

目录

一、KEEPALIVED高可用集群简介

1、Keepalived 高可用集群的工作原理

2、Keepalived 高可用集群的作用

二、KEEPALIVED部署

1、网络配置

2、软件安装与启动

3、配置虚拟路由器

4、效果实现

三、启用keepalived日志功能

四、KEEPALIVED的几种工作模式

1、KEEPALIVED双主模式

2、非抢占模式

3、抢占延迟模式

五、实现独立子配置文件

六、VIP单播配置

七、keepalived邮件通知脚本配置

1、邮件配置

2、通知脚本配置

八、Keepalived- IPVS设定

九、keepalived-vrrp脚本编写

十、keepalived+haproxy的高可用集群

---

在当今数字化的时代，各种网络服务和应用对于可用性的要求越来越高。企业和组织依赖于关键业务系统的持续运行，以满足用户的需求和保障业务的正常开展。
随着业务的增长和系统的复杂度增加，单点故障成为了一个严重的问题。如果单个服务器出现故障，可能会导致服务中断，给用户带来不良体验，甚至造成经济损失。
在这种情况下，为了提高系统的可靠性和可用性，避免单点故障对业务的影响，高可用集群的概念应运而生。
传统的解决方案可能存在一些局限性，例如配置复杂、切换速度慢、缺乏有效的监控和自动切换机制等。
Keepalived 作为一种高可用解决方案，旨在提供一种相对简单、高效且可靠的方式来构建高可用集群。它利用了虚拟路由器冗余协议（VRRP）的特性，能够快速检测主服务器的故障，并自动将服务切换到备份服务器上。

一、KEEPALIVED高可用集群简介

1、Keepalived 高可用集群的工作原理

Keepalived 主要是通过虚拟路由器冗余协议（VRRP）来实现高可用的。VRRP 会在一组服务器中选举出一个主服务器（Master）和多个备份服务器（Backup）。
主服务器会定时向网络中发送心跳信息，告知其他备份服务器自己的存活状态。如果备份服务器在一定时间内没有收到主服务器的心跳信息，就会认为主服务器出现故障，并通过选举机制将自己提升为主服务器，接管主服务器的工作，以保证服务的连续性。

2、Keepalived 高可用集群的作用

故障切换：
当主服务器出现故障时，能够快速将服务切换到备份服务器上，减少服务中断的时间，提高系统的可用性。例如，在一个 Web 服务器集群中，如果主服务器宕机，Keepalived 可以迅速将流量导向备份服务器，确保用户仍然能够正常访问网站。
负载均衡：
可以配合其他负载均衡工具，实现更高效的负载均衡策略。比如，将请求均匀地分配到多个服务器上，提高系统的整体性能和处理能力。
网络地址转换（NAT）：
Keepalived 可以用于实现 NAT 功能，使得内部网络能够通过一个公共 IP 地址访问外部网络。
监控功能：
能够监控服务器的各种状态指标，如网络连接、服务进程等，及时发现潜在的问题并采取相应的措施。

二、KEEPALIVED部署

基于RHEL7的环境搭建

1、网络配置

[root@ka1 ~]# vmset.sh eth0 172.25.254.10 KA1.mlh.org
[root@ka2 ~]# vmset.sh eth0 172.25.254.20 KA2.mlh.org
[root@realserver1 ~]# vmset.sh eth0 172.25.254.110 realserver.mlh.org
[root@realserver2 ~]# vmset.sh eth0 172.25.254.120 realserver.mlh.org

2、软件安装与启动

[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y
[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y#输入内容
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@realserver2 ~]#  echo 172.25.254.120 > /var/www/html/index.html
#启动服务
[root@realserver1 ~]# systemctl enable --now httpd
[root@realserver2 ~]# systemctl enable --now httpd

3、配置虚拟路由器

#KA1
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置内容
global_defs {notification_email {[e-mail]	#keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个[e-mail]@[e-mail]}notification_email_from [e-mail]	#发邮件的地址smtp_server 127.0.0.1	#邮件服务器地址smtp_connect_timeout 30	#邮件服务器连接timeoutrouter_id ka1.mlh.org	 #每个keepalived主机唯一标识vrrp_skip_check_adv_addr	vrrp_strictvrrp_garp_interval 0	#报文发送延迟，0表示不延迟vrrp_gna_interval 0	#消息发送延迟vrrp_mcast_group4 224.0.0.18	 #指定组播IP地址范
}vrrp_instance VI_1 {state MASTERinterface eth0	 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡virtual_router_id 100	#每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同，务必要确认在同一网络中此值必须唯一priority 100	 #当前物理节点在此虚拟路由器的优先级，范围：1-254advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}	#指定VIP、网卡#KA2
[root@ka1 ~]# scp /etc/keepalived/keepalived.conf root@172.25.254.20:/etc/keepalived/keepalived.conf	#远程拷贝文件
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
#配置内容vrrp_instance VI_1 {state BACKUP	#备用设备interface eth0virtual_router_id 100priority 80	#修改优先级advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}

4、效果实现

#测试：
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka2 ~]# systemctl restart keepalived.service
[root@ka1 ~]# tcpdump -i eth0 -nn host 224.0.0.18	#监视数据包

效果实现：

KA1down，备用设备up

xxxxxxxxxx [root@ka1 ~]# systemctl stop keepalived.service

此时vip切换到KA2设备

三、启用keepalived日志功能

[root@ka1 ~]# vim /etc/sysconfig/keepalived
#配置内容
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]# vim /etc/rsyslog.conf

[root@ka1 ~]# systemctl restart keepalived.service 
[root@ka1 ~]# systemctl restart rsyslog.service
[root@ka1 ~]# ll /var/log/keepalived.log
-rw-------. 1 root root 21136 8月  12 13:36 /var/log/keepalived.log

四、KEEPALIVED的几种工作模式

1、KEEPALIVED双主模式

Keepalived 双主模式是一种高可用架构方案。在这种模式下，通常有两台服务器都被配置为主服务器。 其工作原理基于虚拟路由冗余协议（VRRP）。VRRP 会为这两台服务器分配不同的优先级。正常情况下，优先级较高的服务器承担主要的工作负载，同时向网络中发送 VRRP 通告来表明自己的主状态。而另一台优先级较低的服务器则处于备用状态，并监听主服务器的通告。 当主服务器出现故障，无法发送 VRRP 通告时，备用服务器在一段时间后没有收到通告，就会认为主服务器失效，并将自己提升为主服务器，接管工作负载。

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
#配置以下内容实现双主架构
vrrp_instance VI_2 {state BACKUPinterface eth0virtual_router_id 200priority 80advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.200/24 dev eth0 label eth0:2}unicast_src_ip 172.25.254.10              unicast_peer {      172.25.254.20}track_script {check_haproxy}
}[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 {state MASTERinterface eth0virtual_router_id 200priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.200/24 dev eth0 label eth0:2}unicast_src_ip 172.25.254.20unicast_peer {      172.25.254.10}
}

第一台主机KA1对于172.25.254.100这个vip是主设备，对172.25.254.200这个vip是备用设备；

第二台主机KA2对于172.25.254.100这个vip是备用设备，对172.25.254.200这个vip是主设备。

当主机1发生故障时，主机2将会接管工作：

2、非抢占模式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色。

这样会使vip在KA主机中来回漂移，造成网络抖动。

建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机。

KA1主机配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {state BACKUP	#要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUPinterface eth0virtual_router_id 100priority 100	#优先级高nopreempt	#非抢占模式advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 100priority 80	#优先级低advert_int 1nopreempt	#非抢占模式authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}

最开始：

高优先级KA1重启后vip会迁移至低优先级KA2，在非抢占模式下并不会因为高优先级重启而抢走vip：

[root@ka1 ~]# systemctl restart keepalived.service

后续也发生down时,仍会将VIP迁移回原主机：

[root@ka2 ~]# systemctl stop keepalived.service

3、抢占延迟模式

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回VIP

注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

[root@ka1 ~]# vim /etc/keepalived/keepalived.confvrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 100priority 100preempt_delay 5s	#设置延迟时间#nopreemptadvert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}

实验效果：

KA1重启前后五秒vip的变化：

五、实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理。

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件。

[root@KA1 ~]# mkdir  /etc/keepalived/conf.d
[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
#配置内容
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 100priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}
#KA2同理

六、VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 100priority 100#preempt_delay 5s#nopreemptadvert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}unicast_src_ip 172.25.254.10              unicast_peer {      172.25.254.20}
}
#KA2配置同理

[root@ka1 log]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20

七、keepalived邮件通知脚本配置

1、邮件配置

root@KA1 ~]# yum install mailx -y
[root@KA2 ~]# yum install mailx -y

QQ邮箱配置：

打开QQ邮箱网页》账号与安全》安全设置》生成授权码 ****************

[root@ka1 log]# vim /etc/mail.rc
#在末行插入以下内容
set from=3182678***@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=3182678***@qq.com
set smtp-auth-password=hswuuangiqjndcfa
set smtp-auth=login
set ssl-verify=ignore#KA2配置同理
测试：
[root@ka1 log]# echo test messages | mail -S test 3182678***@qq.com

2、通知脚本配置

[root@ka1 log]# vim /etc/keepalived/mail.sh
#配置内容
#!/bin/bash
mail_dest='3182678***@qq.com'mail_send()
{mail_subj="$HOSTNAME to be $1 vip remove"mail_mess="`date +%F\ %T`:vrrp remove,$HOSTNAME change $1"echo "$mail_mess" | mail -s "$mali_subj" $mail_dest
}
case $1 inmaster)mail_send master;;backup)mail_send backup;;fault)mail_send fault;;*)exit 1;;
esac[root@ka1 log]# chmod +x /etc/keepalived/mail.sh

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

KA2配置同上

重启keepalived服务得到两个邮件：

八、Keepalived- IPVS设定

在 Keepalived + LVS 双主模式的 DR（Direct Routing，直接路由）模式中，实现过程包括以下关键步骤： 首先，配置 LVS 负载均衡器，指定其为 DR 模式，并设置相关的调度算法和真实服务器列表。 然后，在每台真实服务器上配置相关的网络参数，包括 VIP（Virtual IP，虚拟 IP）等。 接下来，配置 Keepalived，使其能够监控 LVS 负载均衡器的状态，并在出现故障时进行切换。 工作原理如下： 客户端向 VIP 发送请求。 LVS 负载均衡器接收到请求后，根据预先配置的调度算法，选择一台合适的真实服务器。 由于是 DR 模式，负载均衡器通过修改数据包的 MAC 地址，将请求直接发送到选定的真实服务器。 真实服务器接收到请求后，发现目的 MAC 地址是自己的，会处理请求。处理完成后，直接将响应数据包返回给客户端，而不再经过负载均衡器。 在双主模式下，有两台 LVS 负载均衡器都处于活动状态，同时工作并分担负载。 Keepalived 会不断监控两台负载均衡器的健康状态。如果其中一台出现故障，Keepalived 会迅速进行切换，将其从服务中移除，确保服务的连续性。

虚拟服务器配置参数

virtual_server IP port { #VIP和PORTdelay_loop <INT> #检查后端服务器的时间间隔lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法lb_kind NAT|DR|TUN #集群的类型,注意要大写persistence_timeout <INT> #持久连接时长protocol TCP|UDP|SCTP #指定服务协议,一般为TCPsorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址real_server <IPADDR> <PORT> {          #RS的IP和PORTweight <INT>   #RS权重notify_up <STRING>|<QUOTED-STRING>   #RS上线通知脚本notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法}
}

应用层监测

HTTP_GET|SSL_GET {url {path <URL_PATH> #定义要监控的URLstatus_code <INT> #判断上述检测机制为健康状态的响应码，一般为 200}connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout servernb_get_retry <INT> #重试次数delay_before_retry <INT> #重试之前的延迟时长connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}

TCP监测

TCP_CHECK {connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址bind_port <PORT> #发出健康状态检测请求时使用的源端口connect_timeout <INTEGER> #客户端请求的超时时长#等于haproxy的timeout server   
}

准备web服务器并设置VIP至web服务器lo网卡

[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y
[root@realserver1 ~]# ip a a 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a a 172.25.254.100/32 dev lo

解决vip响应问题

[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
#配置内容
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2sysctl --system	#检测配置是否生效

安装ipvsadm软件观察路由策略

[root@ka1 ~]# yum install ipvsadm -y
[root@ka2 ~]# yum install ipvsadm -y

虚拟主机配置

virtual_server 172.25.254.100 80 {delay_loop 6lb_algo wrrlb_kind DRpersistence_timeout 50protocol TCPreal_server 172.25.254.110 80 {weight 1HTTP_GET {url {path /status_code 200}connect_timeout 3nb_get_retry 2delay_before_retry 2}}real_server 172.25.254.120 80 {weight 1HTTP_GET {url {path /status_code 200}connect_timeout 3nb_get_retry 2delay_before_retry 2}}}
#两台虚拟主机均要配置

通过ipvsadm工具可以发现，重启主机后加载keepalived服务路由策略可以自动加载出来：

当断掉一台后端服务器时，在虚拟服务器主机可以发现其路由策略消失，但不影响访问：

九、keepalived-vrrp脚本编写

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本，在global_defs 之外配置script <STRING>|<QUOTED-STRING> #shell命令或脚本路径interval <INTEGER> #间隔时间，单位为秒，默认1秒timeout <INTEGER> #超时时间weight <INTEGER:-254..254> #默认为0,如果设置此值为负数，#当上面脚本返回值为非0时#会将此值与本节点权重相加可以降低本节点权重， 
#即表示fall. #如果是正数，当脚本返回值为0，#会将此值与本节点权重相加可以提高本节点权重#即表示 rise.通常使用负值fall <INTEGER>       #执行脚本连续几次都失败,则转换为失败，建议设为2以上rise <INTEGER>       #执行脚本连续几次都成功，把服务器从失败标记为成功user USERNAME [GROUPNAME] #执行监测脚本的用户或组init_fail         #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

脚本编写

[root@ka1 ~]# vim /etc/keepalived/test.sh
#!bin/bash
[ ! -f "/mnt/mlh" ]
[root@ka1 ~]# chmod +x /etc/keepalived/test.sh
[root@ka1 ~]# sh /etc/keepalived/test.sh
[root@ka1 ~]# echo $?
1

定义脚本

[root@ka1 ~]# vim /etc/keepalived/keepalived.confvrrp_script check_file {script "/etc/keepalived/test.sh"interval 1weight -30fall 2rise 2timeout 2}

调用脚本

vrrp_instance VI_1 {
... ...track_script {check_file}
}

脚本执行结果为0，说明weight值不生效，优先级恢复为100，则vip迁回

十、keepalived+haproxy的高可用集群

Keepalived + HAProxy 双主模式下的高可用集群工作原理 在 Keepalived + HAProxy 双主模式的高可用集群中，工作原理基于以下几个关键部分： HAProxy 的负载均衡功能 HAProxy 负责接收客户端的请求，并根据预设的负载均衡策略将请求分发到后端的真实服务器。 例如，它可以基于轮询、加权轮询、最少连接等算法来分配请求，以实现高效的资源利用和性能优化。 Keepalived 的高可用机制 Keepalived 基于 VRRP 协议来实现高可用性。在双主模式下，有两台服务器都被配置为主节点，它们各自拥有一个虚拟 IP（VIP）。 正常情况下，两个主节点都在工作，同时向网络中发送 VRRP 通告来表明自己的状态。 故障检测与切换 当其中一台主节点出现故障，例如网络中断、HAProxy 服务停止等，它无法继续发送 VRRP 通告。 另一台主节点在一段时间内没有收到故障节点的通告后，会认为其失效，并接管故障节点的 VIP，从而继续提供服务，确保服务的连续性。

实验环境：在keepalived-ipvs环境下更改配置：

删除后端服务器vip

[root@realserver1 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a d 172.25.254.100/32 dev lo

arp响应

[root@realserver1 & realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=0
net.ipv4.conf.all.arp_announce=0
net.ipv4.conf.lo.arp_ignore=0
net.ipv4.conf.lo.arp_announce=0

软件安装

[root@ka1 ~]# yum install haproxy -y
[root@ka2 ~]# yum install haproxy -y

在两个ka1和ka2两个节点启用内核参数

[root@ka1 & ka2 ~]# vim /etc/sysctl.conf 
net.ipv4.ip_nonlocal_bind = 1
[root@ka1 & ka2 ~]# sysctl -p

在虚拟服务器进行haproxy配置

[root@ka1 & ka2 ~]# vim /etc/haproxy/haproxy.cfg
#在文件末行配置以下内容
listen webclusterbind 172.25.254.100:80mode httpbalance roundrobinserver web1 172.25.254.110:80 check inter 3 fall 2 rise 5server web2 172.25.254.120:80 check inter 3 fall 2 rise 5

在ka1中编写检测脚本，当vip主机down时，脚本检测将vip漂移至另外一台主机

[root@ka1 & ka2 ~]# vim /etc/keepalived/haproxy.sh
#!/bin/bash
killall -0 haproxy
[root@ka1 & ka2 ~]# chmod +X /etc/keepalived/haproxy.sh

修改虚拟服务器keepalived配置文件

测试：

当虚拟主机断开后，后端依旧能提供访问

当虚拟服务器再次启动时，vip返回