当前位置：首页 > news >正文

nginx+tomcat负载均衡、动静分离群集【☆☆☆☆☆】

news 文章来源：https://blog.csdn.net/2401_83883919/article/details/139469966 2024/10/25 2:22:41

Nginx是一款非常优秀的HTTP服务器软件，性能比tomcat更优秀，它支持高达50 000个并发连接数，拥有强大的静态资源处理能力，运行稳定，内存、CPU等系统资源消耗非常低。目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力。

一、nginx负载均衡

Nginx负载均衡是通过反向代理实现的，还可以将nginx接收到的请求转发给多个后端应用服务器处理。

1、Nginx代理类型

1）nginx 正向代理

代理客户端去访问服务端，服务端不知道真实的客户端地址。客户端先将请求发送给正向代理服务器，再由正向代理服务器将请求转发给服务端。如果由客户端直接发送请求给服务端可能延时大或访问不了。比如VPN。

2） nginx 反向代理

代理服务端，客户端访问代理服务器时，代理服务器会将请求转发给后端其他应用服务端处理，客户端并不知道访问的真实服务端的地址，比如我们访问百度、淘宝这些大型网站，他们不可能只有一台服务器支持所有并发，想要支持几百万几千万的并发需要组成一个服务器集群，并不是服务端的每个服务器的ip地址都要一一记录进行访问，而是直接访问作为前端代理服务器的ip地址，由代理服务器转发请求给后端的应用服务器处理返回。

2、部署反向代理

准备两台服务器，一台做nginx服务器做前端，IP地址为192.168.170.20；一台做后端服务器，tomcat服务器IP地址为192.168.170.200。通过配置实现客户端访问nginx的ip地址访问到tomcat的网页文件。（这里省略部署tomcat服务的步骤，前面内容有详细步骤）

第一步：部署nginx服务器并创建网页文件

cd /opt/
rm -rf *
rz -E
tar xf nginx-1.26.0.tar.gz 
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
cd nginx-1.26.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module
make -j2 && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
nginx -t
cd /usr/lib/systemd/system
vim nginx.service
systemctl daemon-reload
systemctl start nginx
systemctl enable nginx
netstat -lntp | grep nginx[root@pyx system]# cd /usr/local/nginx/html/
[root@pyx html]# ls
50x.html  index.html
[root@pyx html]# mkdir xy101
[root@pyx html]# ls
50x.html  index.html  xy101
[root@pyx html]# cp index.html xy101/
[root@pyx html]# cd xy101/
[root@pyx xy101]# ls
index.html

第二步：tomcat服务器开启服务，并创建网页文件

[root@centOS2 ~]# cd /usr/local/tomcat/bin/
[root@centOS2 bin]# ls
bootstrap.jar       commons-daemon-native.tar.gz  makebase.sh       tomcat-juli.jar
catalina.bat        configtest.bat                setclasspath.bat  tomcat-native.tar.gz
catalina.sh         configtest.sh                 setclasspath.sh   tool-wrapper.bat
catalina-tasks.xml  daemon.sh                     shutdown.bat      tool-wrapper.sh
ciphers.bat         digest.bat                    shutdown.sh       version.bat
ciphers.sh          digest.sh                     startup.bat       version.sh
commons-daemon.jar  makebase.bat                  startup.sh
[root@centOS2 bin]# ./startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/local/jdk1.8.0_391/jre
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
[root@centOS2 bin]# netstat -lntp | grep :8080
tcp6       0      0 :::8080                 :::*                    LISTEN      6104/java [root@centOS2 bin]# cd /usr/local/tomcat/webapps/
[root@centOS2 webapps]# ls
docs  examples  host-manager  manager  ROOT  xy101  xy102
[root@centOS2 webapps]# cd xy101
[root@centOS2 xy101]# ls
index.html
[root@centOS2 xy101]# cd ..
[root@centOS2 webapps]# cp xy101/index.html ./
[root@centOS2 webapps]# ls
docs  examples  host-manager  index.html  manager  ROOT  xy101  xy102

第三步：配置nginx服务器的conf文件

[root@pyx xy101]# cd /usr/local/nginx/conf
[root@pyx conf]# vim nginx.conf
[root@pyx conf]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@pyx conf]# systemctl restart nginx.service

反向代理的优势

隐藏真实服务器；
负载均衡便于横向扩充后端动态服务；
动静分离，提升系统健壮性

三、nginx 动静分离

服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，（nginx处理静态页面性能比tomcat强大，吞吐量、请求量等性能是tomcat的六倍左右）。而动态资源会由Nginx代理转发至后端的其他应用服务器处理（比如php动态页面转发给php服务器处理，jsp动态页面转发给tomcat服务器处理）。

如果后端服务器有多台，nginx服务器需要在upsteam XX服务池称中定义每个后端服务器的ip地址，然后再用proxy_pass http://XX（服务器名称）；就能实现后端服务器的负载均衡。（下面拓补图仅作展示原理作用）。

Nginx静态处理优势

Nginx处理静态页面的效率远高于Tomcat的处理能力
若Tomcat的请求量为1000次，则Nginx的请求量为6000次
Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
Nginx处理静态资源的能力是Tomcat处理的6倍

nginx七层反向代理实现动静分离。实验准备2台tomcat服务器192.168.170.40，一台nginx服务器192.168.170.20，此时我的虚拟机192.168.170.200上是在《tomcat部署与优化》博客中已经部署了tomcat多实例，这里可以用上。

①tomcat服务器192.168.170.200远程发送tomcat服务器已经安装的目录到192.168.170.40

#tomcat服务器192.168.170.200
[root@centOS2]# cd /usr/local/
[root@centOS2 local]# scp -r tomcat 192.168.170.40:`pwd`
The authenticity of host '192.168.170.30 (192.168.170.30)' can't be established.
ECDSA key fingerprint is SHA256:RKvhkwuiOA7PYYJ2yuDGCvJlRKnz8Ng7TF9VBbxFMVI.
ECDSA key fingerprint is MD5:3e:ba:46:01:3f:7d:f6:c7:3d:34:30:02:28:ec:7d:56.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.170.40' (ECDSA) to the list of known hosts.
root@192.168.170.30's password: #tomcat服务器192.168.170.40
[root@pyx ~]# cd /usr/local/
[root@pyx local]# ls
bin  etc  games  include  lib  lib64  libexec  sbin  share  src  tomcat
[root@pyx local]# ./tomcat/bin/startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.

②tomcat服务器192.168.170.200准备好测试文件

#tomcat服务器192.168.170.200准备jsp网页文件
[root@centOS2]# cd /usr/local/tomcat/webapps/
[root@centOS2 webapps]# ls
docs  examples  host-manager  index.html  manager  ROOT  xy101  xy102
[root@centOS2 webapps]# cd xy101/
[root@centOS2 xy101]# ls
index.html  test.jsp
[root@centOS2 xy101]# vim test.jsp

#复制修改网页测试文件到多实例中
[root@centOS2]# cd /usr/local/tomcat/webapps/xy101/
[root@centOS2 xy101]# ls
index.html  test.jsp
[root@centOS2 xy101]# mkdir /usr/local/tomcat2/webapps/xy101/
[root@centOS2 xy101]# cp test.jsp /usr/local/tomcat2/webapps/xy101/
[root@centOS2 xy101]# mkdir /usr/local/tomcat3/webapps/xy101/
[root@centOS2 xy101]# cp test.jsp /usr/local/tomcat3/webapps/xy101/
[root@centOS2 xy101]# cd /usr/local/tomcat2/webapps/xy101/
[root@centOS2 xy101]# vim test.jsp 
[root@centOS2 xy101]# cd /usr/local/tomcat3/webapps/xy101/
[root@centOS2 xy101]# vim test.jsp #启动多实例
[root@centOS2 xy101]# /usr/local/tomcat2/bin/startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat2
Using CATALINA_HOME:   /usr/local/tomcat2
Using CATALINA_TMPDIR: /usr/local/tomcat2/temp
Using JRE_HOME:        /usr/local/jdk1.8.0_391/jre
Using CLASSPATH:       /usr/local/tomcat2/bin/bootstrap.jar:/usr/local/tomcat2/bin/tomcat-juli.jar
Tomcat started.
[root@centOS2 xy101]# /usr/local/tomcat3/bin/startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat3
Using CATALINA_HOME:   /usr/local/tomcat3
Using CATALINA_TMPDIR: /usr/local/tomcat3/temp
Using JRE_HOME:        /usr/local/jdk1.8.0_391/jre
Using CLASSPATH:       /usr/local/tomcat3/bin/bootstrap.jar:/usr/local/tomcat3/bin/tomcat-juli.jar
Tomcat started.

验证多实例网页文件

③tomcat服务器192.168.170.40也准备好jsp动态网页

#tomcat服务器192.168.170.200远程传输网页测试文件到192.168.170.40
[root@centOS2 xy101]# scp test.jsp 192.168.170.40:`pwd`
root@192.168.170.40's password: 
test.jsp                                               100%  189   137.2KB/s   00:00    #tomcat服务器192.168.170.40修改测试文件内容

④nginx服务器192.168.170.20的xy101目录中有静态文件，想实现访问nginx服务器静态页面的时候直接由nginx处理，访问动态页面的时候由nginx转发给tomcat处理的效果。

在http块中配置使用upstream定义后端服务器列表；在server配置块中，用户请求的静态网页可以通过location匹配直接跳转页面，动态网页则使用location匹配用户请求的动态页面的URL路径，用proxy_pass代理转发，实现动静分离。

[root@pyx ~]# cd /usr/local/nginx/
[root@pyx nginx]# ls
client_body_temp  fastcgi_temp  logs        sbin       uwsgi_temp
conf              html          proxy_temp  scgi_temp
[root@pyx nginx]# cd html/
[root@pyx html]# ls
50x.html  index.html  xy101
[root@pyx html]# cd xy101/
[root@pyx xy101]# ls
index.html
[root@pyx xy101]# cd /usr/local/nginx/conf/
[root@pyx conf]# vim nginx.conf
[root@pyx conf]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@pyx conf]# systemctl restart nginx.service

验证动静分离效果

四、nginx的反向代理类型

1、七层反向代理

七层反向代理基于http、https、mail等七层应用协议的代理转发（根据用户访问请求的URL路径来转发请求），通常用于 动静分离等应用场景。部署参考上面的动静分离配置。

七层反向代理配置
1）在http配置块中使用upstream定义后端服务器列表名称和节点参数

http {upstream 服务器池名称 {server IP1:PORT1 weight=1;server IP2:PORT2 weight=1;......}

2）在server配置块中使用location匹配用户请求的动态页面的URL路径，使用 proxy_pass 基于协议代理转发

    server {......location ~ .*\.jsp$ {proxy_pass http://服务器池名称;#用于为后端服务器获取真实的客户端地址proxy_set_header HOST $host;proxy_set_header X_Real_IP $remote_addr;proxy_set_header X_Forwarded_For $proxy_add_x_forwarded_for;}......}

2、四层反向代理

四层反向代理基于 IP 和端口实现的代理转发（根据用户请求的IP和端口来转发请求），通常用于做网关访问入口的负载均衡器等应用场景。

1）编译安装时需要添加 stream 四层代理模块 ./configure --with-stream

2）在 http 配置块同层级，一般在 http 配置块上面添加 stream 配置块，在 stream 配置块里使用upstream定义后端服务器列表名称和节点参数以及使用server配置块定义监听端口和转发配置

stream {upstream 服务器池名称 {server IP1:PORT1 weight=1;server IP2:PORT2 weight=1;......}server {listen IP:PORT;proxy_pass 服务器池名称;}
}http {....}

四层反向代理比七层反向代理转发性能更高于；
七层反向代理比四层反向代理转发功能更多、更灵活

3、群集系统案例部署（不完整）

通过将Nginx与后端多台服务器结合，可以构建一个高性能的群集系统。Nginx Server负责接收和分发请求，nginx web服务器处理静态页面请求，而后端Tomcat和php服务器则负责处理业务逻辑。当集群中的某个Tomcat发生故障时，Nginx可以自动将请求转发到其他正常运行的Tomcat服务器上，保证了系统的稳定性和可靠性。

实验准备：

nginx服务器192.168.170.20做四层反向代理负载均衡器

nginx-web服务器192.168.170.101

nginx-web服务器192.168.170.102

tomcat服务器192.168.170.40

tomcat服务器192.168.170.200

php服务器192.168.170.110

1.部署nginx负载均衡器(四层代理）

systemctl stop firewalld
setenforce 0#安装所需开发包和编译环境、编译器
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make#创建程序用户，便于准确控制访问
useradd -M -s /sbin/nologin nginx#解压nginx文件
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \                                    #启用文件修改支持
--with-http_stub_status_module \                    #启用状态统计
--with-http_gzip_static_module \                    #启用 gzip静态压缩
--with-http_flv_module \                            #启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module                                #启用 SSL模块，提供SSL加密功能
--with-stream                                        #启用 stream模块，提供4层调度
----------------------------------------------------------------------------------------------------------
./configure \
--prefix=/usr/local/nginx \                           # 指定安装目录为 /usr/local/nginx
--user=nginx \                                         # 指定运行 nginx 的用户为 nginx
--group=nginx \                                        # 指定运行 nginx 的用户组为 nginx
--with-file-aio \                                      # 启用文件异步IO支持
--with-http_stub_status_module \                       # 启用 HTTP Stub 状态模块，用于获取 nginx 的运行状态
--with-http_gzip_static_module \                       # 启用 HTTP gzip 静态压缩模块，用于对静态文件进行 gzip 压缩
--with-http_flv_module \                               # 启用 HTTP FLV 模块，提供对 FLV 视频的伪流支持
--with-http_ssl_module \                               # 启用 HTTP SSL 模块，提供 SSL 加密功能
--with-stream                                           # 启用 Stream 模块，提供 4 层调度功

#编译及安装
make && make install#软链接便于系统识别nginx操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

 
#添加nginx系统服务以便系统管理启动、停止、重启
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target#赋权及开启服务、开启开机自启
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

vim /usr/local/nginx/
stream {upstream nginx_server {server 192.168.170.101:80 weight=1;server 192.168.170.102:80 weight=1;}server {listen 192.168.170.20:2468; proxy_pass nginx_server;    #四层代理不需要带协议，基于端口转发的}
}http {....}

nginx -t
systemctl restart nginx

2.部署2台nginx服务器，创建网页文件

附nginx一键部署脚本，与yum安装方法目录不同

#!/bin/bash
#======编译安装nginx服务======
#安装所需开发包和编译环境、编译器
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
#创建程序用户，便于准确控制访问
useradd -M -s /sbin/nologin nginx#解压安装包
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/#指定安装路径、指定用户名、组名、启用模块以支持统计状态
cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-file-aio --with-http_gzip_static_module --with-http_flv_module --with-http_ssl_module --with-stream#编译及安装
make && make install#软链接便于系统识别nginx操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/#添加nginx系统服务
echo '[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target' > /lib/systemd/system/nginx.service#赋权及开启服务、开启开机自启
chmod 754 /lib/systemd/system/nginx.service
systemctl daemon-reload
systemctl start nginx
systemctl enable nginx

yum install -y nginx
systemctl start nginx
vim /etc/nginx/conf.d

在http配置块中使用upstream定义后端服务器列表名称和节点参数。

http {upstream tomcat_server {server IP1:PORT1 weight=1;server IP2:PORT2 weight=1;......}

在server配置块中使用location匹配用户请求的动态页面的URL路径，使用 proxy_pass 基于协议代理转发。

	location ~ .*\.jsp$ {proxy_pass http://服务器池名称;proxy_set_header HOST $host;proxy_set_header X_Real_IP $remote_addr;proxy_set_header X_Forwarded_For $proxy_add_x_forwarded_for;}

关闭长连接，防止对实验结果有影响

keepalive_timeout =0;

nginx -t  #检查语法
systemctl restart nginx
cd /usr/share/nginx/html
mkdir xy101
cd xy101/
vim test.html

3.部署2台tomcat服务器，并准备文件

systemctl stop firewalld
setenforce 0#解压安装JDK
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/#设置JDK环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH#刷新配置文件，使配置生效
source /etc/profile#解压tomcat
tar zxvf apache-tomcat-8.5.16.tar.gz#将文件移动至/usr/local/下并重命名
mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat#tomcat启动关闭脚本位置
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh#重新加载服务，并开启，查看是否成功启动
/usr/local/tomcat/bin/startup.sh 
lsof -i:8080
netstat -ntap | grep 8080

4.验证

五、Nginx的负载均衡模式

Nginx的负载均衡模式，也叫调度模式、调度算法、调度策略，在 upstream 配置块里设置。

1、rr 轮询负载均衡模式，自带。是nginx的默认调度模式，按照时间顺序逐一分配请求；

2、least_conn 最少连接，自带。优先将请求分配给当前连接数最少的节点；

3、weight 加权轮询，自带。使用weight参数设置权重，weight值越高的节点被分配请求的概率越大；

4、ip_hash ，自带。根据客户端IP做hash缓存调度，会将请求分配给固定的一个节点；

5、url_hash，第三方。根据客户端请求访问的URL路径做hash缓存调度，会将请求分配给固定的一个节点。需要另外按照第三方模块支持

6、fair，第三方。优先将请求分配给响应时间最少的节点。需要另外按照第三方模块支持；

7、random，随机分配请求；

8、hash nginx全局变量 consistent，一致性hash算法，根据nginx全局变量的值来做hash缓存调度；比如 hash $remote_addr consistent 根据客户端ip做hash缓存调度，是ip_hash的加强版。

举例：
upstream 服务器池名称 {
server IP1:PORT1 weight=权重 max_fails=最大的失败次数 fail_timeout=暂停服务的时间 max_conns=最大并发连接数;
......
least_conn;/ip_hash;/hash $request_uri;/fair;/random;/hash $remote_addr consistent;
}

Nginx负载均衡如何实现会话保持？
1）ip_hash 或一致性hash算法基于客户端IP做hash缓存将请求发送给同一个后端节点服务器来实现会话保持，但是此方法容易导致负载失衡问题

2）sticky_cookie_insert 基于cookie来判断实现会话保持
upstream backend {
server ...... ;
sticky_cookie_insert srv_id expires=浏览器中保持cookie的时间 domain=cookie的域名 path=cookie的路径;
}

3）后端应用服务器自身通过相关机制设置，使用缓存数据库为后端节点服务器做session同步复制实现会话保持