LVS服务的搭建之NAT模式、DR模式的搭建实战

# LVS的概述

1/什么是LVS

linux virtural server的简称，也就是linxu虚拟机服务器，使用lvs可以达到的技术目标是：通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群，他具有良好的可靠性，可延展性和可操作性，从而以低廉的成本实现最优的性能，Lvs是一个实现负载均衡集群开源软件项目，lvs从逻辑上可以分为调度层，

server集群层和共享存储。

2、LVS调度算法

# 静态调度算法：

1)轮询：RR 轮询**

调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

2)加权轮询

WRR 加权轮询**

调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。 这样可以保证处理能力强的服务器处理更多的访问流量。调度器 可以自动问询真实服务器的负载情况，并动态地调整其权值。

3)目标地址hash

DH 目标地址hash**

算法也是针对目标IP地址的负载均衡，但它是一种静态映射算法，通过一个散列（Hash函数将一个目标IP地址映射到一台服务器。目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器

是可用的且未超载，将请求发送到该服务器，否则返回空。

4)源地址hash

SH 源地址hash**

算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是 可用的且未超载，将请求发送到该服务器，否则返回空。

它采用的散列函数与目标地址散列调度算法的相同。除了将请求的目

标IP地址换成请求的源IP地址外，它的算法流程与目标地址散列调

度算法的基本相似。在实际应用中，源地址散列调度和目标地址散列

调度可以结合使用在防火墙集群中，它们可以保证整个系统的唯一出

入口。

# 动态调度算法

1)Lc最少链接

调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。 如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

2)wlc加权最少链接

在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

3)sed最少期望延迟

基于wlc算法，举例说明：ABC三台机器分别权重123，连接数也分别是123，name如果使用WLC算法的话一个新请求 进入时他可能会分给ABC中任意一个，使用SED算法后会进行这样一个运算。

A:(1+1)/2

B:(1+2)/2

C:(1+3)/3

根据运算结果，把连接交给C

4)nq从不排队调度算法

无需列队，如果有台realserver的连接数=0 就直接分配过去，不需要进行sed运算

5) lblc基于本地最少链接

"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该 目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该

服务器。

6)lblcr带复制的基于本地的最少链接

"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同 之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按"最小连接"原则从这个集群中选出一 台服务器 ，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改， 将最忙的服务器从服务器组中删除，以降低复制的程度。

3、LVS的工作原理

1)当用户向负载均衡调度器（director server）发起请求，调度器将请求发往内核空间

2)prerouting链首先会接受到用户请求，判断目标ip确定是本机ip，将数据包发往input链

3)IPVS是工作在input链上的，当用户请求到达input时，ipvs会将用户请求和自己定义好的集群服务器进行比对，如果用户请求就是定义的集群服务，那么此时ipvs会强行修改数据包里的目标ip地址以及端口，并将新的数据包发往POSTROUTING链，

4)POSTROUTING链接收到数据包后，发现目标ip地址刚好是自己的后端服务器，那么通过选路，将数据包最终发送给后端服务器。

4、组成以及相关术语

1)组成

ipvs：ip virtual server,一段代码工作在内核空间，ipvs，是真正生效实现调度的代码

ipvsadm：另一段是工作在用户空间，ipvsadm，负责为ipvs内核框架编写规则，定义

谁是集群服务，谁是后端真正的服务器（real server）类似nginx中的upstrean

lvs组成=ipvsipv(内核，负载均衡调度代码)+sadm（ipvs管理器，负责均衡提供集群后端服务等信息）

2)术语

DS DIrector Server 前端负责均衡节点（负载均衡服务器）；RS real server 后端真实工作服务器（web服务器）

 vip向外部直接面向用户请求，作为用户请求的目标ip地址（负载均衡的ip地址，提供给用户）

DIP Director Server Ip 和内部主机通讯的ip地址（负责与Real Server交互的内部Ip）

RIP Real Server Ip 后端服务器ip地址

CIP client IP 访问客户端ip地址

4、三种工作模式

1)LVS-NAT模式

2)LVS-DR模式

3)Lvs-Tun模式（隧道模式）

5、NAT 工作原理及特性

1)Rs应该是私有地址，Rs网关必须指向DIP，即要求DIP和RIP必须在同一个网段内

2)请求和响应报文都应该经过Director Server，高负载场景中Director Server容易成为性能瓶颈

3)支持端口映射

4)Rs可是使用任意操作系统

5)lvs-nt模式优点是配置简单，缺点是请求和响应都必须经过ds，容易成为性能瓶颈，希望有这样的模式：请求的时候使用input链进行负载均衡，响应的时候不要经过ds，直接由rs响应给客户端。在nat模式的时候，请求vip，接收vip的响应，构想一种请求vip，接受rip响应，但这是不允许的。于是便出现了DR模式。

NAT模式的搭建实战

主机名		功能
ds01		Director-serrver,ntp
内网dip(192.168.2.206)	外网vip(192.168.11.94)
web		Real-server
web1(192.168.2.200)	web2(192.168.2.201)

# 环境准备

# 配置vip（虚拟）网卡

=====web1的配置======

[root@web1 ~]#systemctl status firewalld

[root@web1 ~]#setenforce 0

[root@web1 ~]#yum -y install nginx

[root@web1 ~]#echo 'i am web1' > /usr/share/nginx/html/index.html

[root@web1 ~]#nginx

[root@web1 ~]#curl 192.168.2.200

i am web1

=====web2的配置======

[root@web2 ~]#yum -y install nginx

[root@web2 ~]#echo 'i am web2' > /usr/share/nginx/html/index.html

[root@web2 ~]#yum list installed|grep nginx

nginx.x86_64                          1:1.20.1-10.el7                  @epel    

nginx-filesystem.noarch               1:1.20.1-10.el7  

[root@web2 ~]#nginx                @epel

[root@web2 ~]# curl 192.168.2.201

i am web2

=====ds01的配置======

1、添加一块网卡，设置桥接模式，并且桥接到有网的适配器中，此时在虚拟主机中使用ifconfig无法找到新的网卡。

2、此时只能使用ip a s指令查看到新的ens36网卡，没有路由

[root@ds01 ~]# ip a s

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

    link/ether 00:0c:29:f9:95:19 brd ff:ff:ff:ff:ff:ff

    inet 192.168.2.206/24 brd 192.168.2.255 scope global noprefixroute ens33

       valid_lft forever preferred_lft forever

    inet6 fe80::5197:3f3c:567d:1e19/64 scope link noprefixroute

       valid_lft forever preferred_lft forever

    inet6 fe80::b496:4fc:9c02:9127/64 scope link tentative noprefixroute dadfailed

       valid_lft forever preferred_lft forever

3: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

    link/ether 00:0c:29:f9:95:23 brd ff:ff:ff:ff:ff:ff

[root@ds01 ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36

3、编辑网卡配置，生成uuid，重启network服务

[root@ds01 ~]# uuidgen

87bd5ff3-52fb-49ce-9299-861b1132b23f  

[root@ds01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens36

TYPE=Ethernet

BOOTPROTO=none

NAME=ens36

UUID=87bd5ff3-52fb-49ce-9299-861b1132b23f

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.11.94

[root@ds01 ~]#systemctl restart network

4、配置ipvs规则

# 查看所有的规则，如果已经配置好规则，重启之后也就没有了

[root@ds01 ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

# 添加ipvs规则

[root@ds01 ~]# ipvsadm -A -t 192.168.11.94:80 -s r

[root@ds01 ~]# ipvsadm -a -t 192.168.11.94:80 -r 192.168.2.200:80 -m

                                                 【公网ip】

[root@ds01 ~]# ipvsadm -a -t 192.168.11.94:80 -r 192.168.2.201:80 -m

                                                【公网ip】   

[root@ds01 ~]#  ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.11.94:80 rr

  -> 192.168.2.200:80             Masq    1      0          0         

  -> 192.168.2.201:80             Masq    1      0          0  

# ip转发            

[root@ds01 ~]# vim /etc/sysctl.conf

[root@ds01 ~]# sysctl -p

net.ipv4.ip_forward = 1

# 临时修改web1和web2的网关(重启后失效)，网关必须真实主机(rs ip)指向dip(调度器的对内ip192.168.2.206)，因为dip是作为网关存在的

[root@web1 ~]# yum -y install net-tools.x86_64

[root@web1 ~]# route del default

[root@web1 ~]# route add default gw 192.168.2.206

[root@web2 ~]# route del default

[root@web2 ~]# route add default gw 192.168.2.206

扩展：NAT模式的脚本

========ds脚本==========

#!/bin/bash

#配置网卡

echo TYPE="Ethernet" >> /etc/sysconfig/network

scripts/ifcfg-ens36

echo BOOTPROTO="none" >> /etc/sysconfig/network

scripts/ifcfg-ens36

read -p "router name:" router_name

echo NAME='"$rount_name"' >> /etc/sysconfig/network

scripts/ifcfg-ens36

uuidkey=$( uuidgen )

echo UUID='"$uuidkey"' >> /etc/sysconfig/network

scripts/ifcfg-ens36 >> /etc/sysconfig/network

scripts/ifcfg-ens36echo DEVICE='"$rount_name"' >> /etc/sysconfig/network

scripts/ifcfg-ens36

echo ONBOOT="yes" >> /etc/sysconfig/network-scripts/ifcfg

ens36

echo IPADDR=192.168.10.100 >> /etc/sysconfig/network

scripts/ifcfg-ens36

systemctl restart network

#安装ipvsadm

yum list installed|grep ipvsadm

if[ $? -ne 0 ];then

yum -y install ipvsadm

fi

#配置规则

read -p "vip:" vip

read -p "port:" port

read -p "rule:" s

ipvsadm -A -t $vip:$port -s $s

# ip forward

echo "net.ipv4.ip_forward=1" >/etc/sysctl.conf

sysctl -p

========rs脚本==========

#!/bin/bash

read -p "dip:" dip

# 设置网关

route del default

route add defualt gw $dip

DR模式的搭建实战

# 环境准备

1. 主机准备：

主机名		功能
dr（调度器）		Director-serrver,ntp
内网dr(192.168.2.207)	外网vip(192.168.2.208)
web		Real-server
web1(192.168.2.200)	web2(192.168.2.201)

2、说明：

1)优点：DR模式性能更优，回路不经过ds

2)为了解决ip地址不兼容问题，需给三台主机都配置vip，需弱化web1和web2两台主机的vip，保证客户端虽然广播式发送arp请求寻找vip，但只希望得到ds主机的响应，即需要对rs的vip进行抑制(将rs的vip绑定点lo回路网卡上)，让ds的vip接收请求，rs的vip不接受请求。

3)ds和rs为了保证用户响应都要求配置统一的ip

4)由于rs是直接响应client，网关一定不能设置为ds的ip

# 在ds主机的ens33上挂一个vip(192.168.2.208)

[root@dr ~]# ifconfig ens33:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up

[root@dr ~]# ip a

.....

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

    link/ether 00:0c:29:e4:c6:0b brd ff:ff:ff:ff:ff:ff

inet 192.168.2.207/24 brd 192.168.2.255 scope global noprefixroute ens33

    【dip】

       valid_lft forever preferred_lft forever

inet 192.168.2.208/32 brd 192.168.2.208 scope global ens33:0

    【vip】,通用，此vip和rs上的vip相同

# 添加主机路由，保证其也能接收数据包

[root@dr ~]# route add -host 192.168.2.208 dev ens33:0

具体配置

======ds上的配置========

# 安装ipvsadm

[root@dr ~]# yum -y install ipvsadm.x86_64

[root@dr ~]# ipvsadm -Ln   # 查看是否存在规则

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

[root@dr ~]# ipvsadm -C   #  清空之前的规则

[root@dr ~]# ipvsadm -A -t 192.168.2.208:80 -s rr

[root@dr ~]# ipvsadm -a -t 192.168.2.208:80 -r 192.168.2.200:80 -g    # -g 网关路由

                       【vip】             【web1】

[root@dr ~]# ipvsadm -a -t 192.168.2.208:80 -r 192.168.2.201:80 -g

                       【vip】            【web2】

# 设置规则

注意!!!：rs不再需要指定端口，dr不支持端口映射，vip上是80端口，-m nat -g gateway

======RS(web1、web2)上的配置========

# 在lo结构上挂载一个vip，编写配置文件（或编写脚本实现）抑制rs的vip接受请求

[root@web1 ~]# ifconfig lo:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up

# 设置主机路由

[root@web1 ~]# route add -host 192.168.2.208 dev lo:0

[root@web1 ~]# vim /proc/sys/net/ipv4/conf/lo/arp_ignore

[root@web1 ~]# vim arp.sh

#!/bin/bash

ifconfig lo:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up

route add -host 192.168.2.208 dev lo:0

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

[root@web1 ~]# source arp.sh

# 生成脚本传给web2主机

[root@web1 ~]# ls

anaconda-ks.cfg  arp_ignore~  arp.sh  soft

[root@web1 ~]# scp arp.sh root@192.168.2.201:~

[root@web2 ~]# ls

anaconda-ks.cfg  arp.sh  soft

[root@web2 ~]# source arp.sh

# 启动nginx服务做测试查看状态，注意跟nat模式不同，不能直接在dr主机上使用curl http://192.168.2.208进行访问

[root@web1 ~]# nginx

[root@web1 ~]# curl 192.168.2.200

i am web1

[root@web2 ~]# nginx

[root@web2 ~]# curl 192.168.2.201

i am web2

[root@dr ~]# ipvsadm -Ln --stats

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes

  -> RemoteAddress:Port

TCP  192.168.2.208:80                   2        4        0      240        0

  -> 192.168.2.200:80                    1        2        0      120        0

  -> 192.168.2.201:80                    1        2        0      120        0

扩展：dr模式的脚本

========ds脚本==========

#!/bin/bash

#在ens33上挂载一个ip地址

read -p "vip:" vip

read -p "mac:" mac

read -p "num" num

ifconfig $mac:$num $vip broadcast $vip netmask

255.255.255.255

# 主机路由

route add -host $vip dev $mac:$num

#安装ipvsadm

yum list installed|grep ipvsadm

if [ $? -ne 0 ] ; then

yum -y install ipvsadm

fi

#配置规则（不需要设置ip_forword）

ipvsadm -C

read -p "rule:" rule

read -p "port:" port

ipvsadm -A -t $vip:$port -s $rule

read -p "rip1:" rip1

ipvsadm -a -t $vip:$port -r $rip1 -g

read -p "rip2:" rip2

ipvsadm -a -t $vip:$port -r $rip2 -g

========rs脚本==========

#!/bin/bash

#在ens33上挂载一个ip地址

read -p "vip:" vip

read -p "mac:" mac

read -p "num" num

ifconfig $mac:$num $vip broadcast $vip netmask

255.255.255.255

# 主机路由

route add -host $vip dev $mac:$num

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce