深入浅出 -- 系统架构之负载均衡Nginx缓存机制
一、Nginx缓存机制
对于性能优化而言,缓存是一种能够大幅度提升性能的方案,因此几乎可以在各处都能看见缓存,如客户端缓存、代理缓存、服务器缓存等等,Nginx
的缓存则属于代理缓存的一种。对于整个系统而言,加入缓存带来的优势额外明显:
- 减少了再次向后端或文件服务器请求资源的带宽消耗。
- 降低了下游服务器的访问压力,提升系统整体吞吐。
- 缩短了响应时间,提升了加载速度,打开页面的速度更快。
那么在Nginx
中,又该如何配置代理缓存呢?先来看看缓存相关的配置项:
proxy_cache_path
:代理缓存的路径。- 语法:
proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
- 是的,你没有看错,就是这么长....,解释一下每个参数项的含义:
path
:缓存的路径地址。levels
:缓存存储的层次结构,最多允许三层目录。use_temp_path
:是否使用临时目录。keys_zone
:指定一个共享内存空间来存储热点Key
(1M
可存储8000
个Key
)。inactive
:设置缓存多长时间未被访问后删除(默认是十分钟)。max_size
:允许缓存的最大存储空间,超出后会基于LRU
算法移除缓存,Nginx
会创建一个Cache manager
的进程移除数据,也可以通过purge
方式。manager_files
:manager
进程每次移除缓存文件数量的上限。manager_sleep
:manager
进程每次移除缓存文件的时间上限。manager_threshold
:manager
进程每次移除缓存后的间隔时间。loader_files
:重启Nginx
载入缓存时,每次加载的个数,默认100
。loader_sleep
:每次载入时,允许的最大时间上限,默认200ms
。loader_threshold
:一次载入后,停顿的时间间隔,默认50ms
。purger
:是否开启purge
方式移除数据。purger_files
:每次移除缓存文件时的数量。purger_sleep
:每次移除时,允许消耗的最大时间。purger_threshold
:每次移除完成后,停顿的间隔时间。
- 语法:
proxy_cache
:开启或关闭代理缓存,开启时需要指定一个共享内存区域。- 语法:
proxy_cache zone | off;
zone
为内存区域的名称,即上面中keys_zone
设置的名称。
- 语法:
proxy_cache_key
:定义如何生成缓存的键。- 语法:
proxy_cache_key string;
string
为生成Key
的规则,如$scheme$proxy_host$request_uri
。
- 语法:
proxy_cache_valid
:缓存生效的状态码与过期时间。- 语法:
proxy_cache_valid [code ...] time;
code
为状态码,time
为有效时间,可以根据状态码设置不同的缓存时间。- 例如:
proxy_cache_valid 200 302 30m;
- 语法:
proxy_cache_min_uses
:设置资源被请求多少次后被缓存。- 语法:
proxy_cache_min_uses number;
number
为次数,默认为1
。
- 语法:
proxy_cache_use_stale
:当后端出现异常时,是否允许Nginx
返回缓存作为响应。- 语法:
proxy_cache_use_stale error;
error
为错误类型,可配置timeout|invalid_header|updating|http_500...
。
- 语法:
proxy_cache_lock
:对于相同的请求,是否开启锁机制,只允许一个请求发往后端。- 语法:
proxy_cache_lock on | off;
- 语法:
proxy_cache_lock_timeout
:配置锁超时机制,超出规定时间后会释放请求。proxy_cache_lock_timeout time;
proxy_cache_methods
:设置对于那些HTTP
方法开启缓存。- 语法:
proxy_cache_methods method;
method
为请求方法类型,如GET、HEAD
等。
- 语法:
proxy_no_cache
:定义不存储缓存的条件,符合时不会保存。- 语法:
proxy_no_cache string...;
string
为条件,例如$cookie_nocache $arg_nocache $arg_comment;
- 语法:
proxy_cache_bypass
:定义不读取缓存的条件,符合时不会从缓存中读取。- 语法:
proxy_cache_bypass string...;
- 和上面
proxy_no_cache
的配置方法类似。
- 和上面
- 语法:
add_header
:往响应头中添加字段信息。- 语法:
add_header fieldName fieldValue
;
- 语法:
$upstream_cache_status
:记录了缓存是否命中的信息,存在多种情况:MISS
:请求未命中缓存。HIT
:请求命中缓存。EXPIRED
:请求命中缓存但缓存已过期。STALE
:请求命中了陈旧缓存。REVALIDDATED
:Nginx
验证陈旧缓存依然有效。UPDATING
:命中的缓存内容陈旧,但正在更新缓存。BYPASS
:响应结果是从原始服务器获取的。- PS:这个和之前的不同,之前的都是参数项,这个是一个
Nginx
内置变量。
OK~,对于Nginx
中的缓存配置项大概了解后,接着来配置一下Nginx
代理缓存:
http{# 设置缓存的目录,并且内存中缓存区名为hot_cache,大小为128m,# 三天未被访问过的缓存自动清楚,磁盘中缓存的最大容量为2GB。proxy_cache_path /soft/nginx/cache levels=1:2 keys_zone=hot_cache:128m inactive=3d max_size=2g;server{location / {# 使用名为nginx_cache的缓存空间proxy_cache hot_cache;# 对于200、206、304、301、302状态码的数据缓存1天proxy_cache_valid 200 206 304 301 302 1d;# 对于其他状态的数据缓存30分钟proxy_cache_valid any 30m;# 定义生成缓存键的规则(请求的url+参数作为key)proxy_cache_key $host$uri$is_args$args;# 资源至少被重复访问三次后再加入缓存proxy_cache_min_uses 3;# 出现重复请求时,只让一个去后端读数据,其他的从缓存中读取proxy_cache_lock on;# 上面的锁超时时间为3s,超过3s未获取数据,其他请求直接去后端proxy_cache_lock_timeout 3s;# 对于请求参数或cookie中声明了不缓存的数据,不再加入缓存proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;# 在响应头中添加一个缓存是否命中的状态(便于调试)add_header Cache-status $upstream_cache_status;}}
}
接着来看一下效果,如下:
第一次访问时,因为还没有请求过资源,所以缓存中没有数据,因此没有命中缓存。第二、三次,依旧没有命中缓存,直至第四次时才显示命中,这是为什么呢?因为在前面的缓存配置中,我们配置了加入缓存的最低条件为:资源至少要被请求三次以上才会加入缓存。 这样可以避免很多无效缓存占用空间。
缓存清理
当缓存过多时,如果不及时清理会导致磁盘空间被“吃光”,因此我们需要一套完善的缓存清理机制去删除缓存,在之前的proxy_cache_path
参数中有purger
相关的选项,开启后可以帮我们自动清理缓存,但遗憾的是:purger
系列参数只有商业版的NginxPlus
才能使用,因此需要付费才可使用。
不过天无绝人之路,我们可以通过强大的第三方模块ngx_cache_purge
来替代,先来安装一下该插件:
①首先去到Nginx
的安装目录下,创建一个cache_purge
目录:
[root@localhost]# mkdir cache_purge && cd cache_purge
②通过wget
指令从github
上拉取安装包的压缩文件并解压:
[root@localhost]# wget https://github.com/FRiCKLE/ngx_cache_purge/archive/2.3.tar.gz
[root@localhost]# tar -xvzf 2.3.tar.gz
③再次去到之前Nginx
的解压目录下:
[root@localhost]# cd /soft/nginx/nginx1.21.6
④重新构建一次Nginx
,通过--add-module
的指令添加刚刚的第三方模块:
[root@localhost]# ./configure --prefix=/soft/nginx/ --add-module=/soft/nginx/cache_purge/ngx_cache_purge-2.3/
⑤重新根据刚刚构建的Nginx
,再次编译一下,但切记不要make install
:
[root@localhost]# make
⑥删除之前Nginx
的启动文件,不放心的也可以移动到其他位置:
[root@localhost]# rm -rf /soft/nginx/sbin/nginx
⑦从生成的objs
目录中,重新复制一个Nginx
的启动文件到原来的位置:
[root@localhost]# cp objs/nginx /soft/nginx/sbin/nginx
至此,第三方缓存清除模块ngx_cache_purge
就安装完成了,接下来稍微修改一下nginx.conf
配置,再添加一条location
规则:
location ~ /purge(/.*) {# 配置可以执行清除操作的IP(线上可以配置成内网机器)# allow 127.0.0.1; # 代表本机allow all; # 代表允许任意IP清除缓存proxy_cache_purge $host$1$is_args$args;
}
然后再重启Nginx
,接下来即可通过http://xxx/purge/xx
的方式清除缓存。
相关文章:
深入浅出 -- 系统架构之负载均衡Nginx缓存机制
一、Nginx缓存机制 对于性能优化而言,缓存是一种能够大幅度提升性能的方案,因此几乎可以在各处都能看见缓存,如客户端缓存、代理缓存、服务器缓存等等,Nginx的缓存则属于代理缓存的一种。对于整个系统而言,加入缓存带来…...
前端 小程序框架UniApp
小程序框架UniApp uni-app简介uni-app项目结构uni-app开发工具HBuilderXuni-app页面uni-app页面生命周期uni-app组件生命周期uni-app页面调用接口uni-app页面通讯uni-app pages.json 页面路由uni-app组件viewuni-app组件scroll-viewuni-app组件swiperuni-app组件textuni-app组…...
宏集PLC如何为楼宇自动化行业提供空调、供暖与通风的解决方案?
一、应用背景 楼宇自动化行业是通过将先进的技术和系统应用于建筑物中,以提高其运营效率、舒适度和能源利用效率的行业,其目标是使建筑物能够自动监控、调节和控制各种设备和系统,包括照明系统、空调系统、安全系统、通风系统、电力供应系统…...
【TI毫米波雷达】官方工业雷达包的生命体征检测环境配置及避坑(Vital_Signs、IWR6843AOPEVM)
【TI毫米波雷达】官方工业雷达包的生命体征检测环境配置及避坑(Vital_Signs、IWR6843AOPEVM) 文章目录 生命体征基本介绍IWR6843AOPEVM的配置上位机配置文件避坑上位机start测试距离检测心跳检测呼吸频率检测空环境测试 附录:结构框架雷达基…...
计算机毕业设计选题之基于SSM的旅游管理系统【源码+PPT+文档+包运行成功+部署讲解】
💓项目咨询获取源码联系v💓xiaowan1860💓 🚩如何选题?🍑 对于项目设计中如何选题、让题目的难度在可控范围,以及如何在选题过程以及整个毕设过程中如何与老师沟通,有疑问不清晰的可…...
JavaWeb入门——Web前端概述及HTML,CSS语言基本使用
前言: java基础已经学完,开始学习javaWeb相关的内容,整理下笔记,打好基础,daydayup!!! Web Web:全球广域网,也称万维网(www World Wide Web),能够通过浏览器访…...
数据结构(3)----栈和队列
目录 一.栈 1.栈的基本概念 2.栈的基本操作 3.顺序栈的实现 •顺序栈的定义 •顺序栈的初始化 •进栈操作 •出栈操作 •读栈顶元素操作 •若使用另一种方式: 4.链栈的实现 •链栈的进栈操作 •链栈的出栈操作 •读栈顶元素 二.队列 1.队列的基本概念 2.队列的基…...
nestjs 全栈进阶--module
视频教程 10_模块Module1_哔哩哔哩_bilibili 1. 模块Module 在 Nest.js 中,Module 是框架的核心概念之一,用于组织和管理应用程序的不同部分,包括服务、控制器、中间件以及其他模块的导入。每个 Nest.js 应用程序至少有一个根模块…...
jupyter python paramiko 网络系统运维
概述 通过使用jupyter进行网络运维的相关测试 设备为H3C 联通性测试 import paramiko import time import getpass import re import os import datetimeusername "*****" password "*****" ip "10.32.**.**"ssh_client paramiko.SSHCli…...
Windows Edge浏览器兼容性问题诊断与修复策略详解
随着Microsoft Edge浏览器的持续迭代与更新,其性能与兼容性已得到了显著提升。然而,在面对互联网上纷繁复杂的网页内容时,仍有可能遇到兼容性问题。本文旨在探讨Edge浏览器在处理网页兼容性问题时的常见场景、原因分析及相应的解决方案&#…...
EXCEL学习笔记
EXCEL学习笔记 小技巧 一键批量添加后缀名词/单词 单元格格式-自定义-通用格式后面输入相应的单位,比如“元”。 输入10000个序号,先输入1,点击开始-填充-序列,选中该列,终止值为10000; 按住shift选取多个…...
使用预训练的bert large model实现问答系统源码(本地实现 question answer system)
pre-trained bert model 预训练好的Bert模型 本地实现问答系统 用这条命令将bert下载到本地: model.save_pretrained("path/to/model") 具体代码 如下链接: https://download.csdn.net/download/qqqweiweiqq/89092005...
蓝桥杯 历届真题 杨辉三角形【第十二届】【省赛】【C组】
资源限制 内存限制:256.0MB C/C时间限制:1.0s Java时间限制:3.0s Python时间限制:5.0s 思路: 由于我第一写没考虑到大数据的原因,直接判断导致只得了40分,下面是我的代码: #…...
商务电子邮件: 在WorkPlace中高效且安全
高效和安全的沟通是任何组织成功的核心。在我们关于电子邮件类型的系列文章的第二期中,我们将重点关注商业电子邮件在促进无缝交互中的关键作用。当你身处重要的工作场环境时,本系列的每篇文章都提供了电子邮件的不同维度的视角。 “2024年,全…...
阿里云2024年优惠券领取及使用常见问题
阿里云是阿里巴巴旗下云计算品牌,服务涵盖云服务器、云数据库、云存储、域名注册等全方位云服务和各行业解决方案。为了吸引用户上云,阿里云经常推出各种优惠活动,其中就包括阿里云优惠券。本文将对阿里云优惠券领取及使用常见问题进行解答&a…...
90天玩转Python—05—基础知识篇:Python基础知识扫盲,使用方法与注意事项
90天玩转Python系列文章目录 90天玩转Python—01—基础知识篇:C站最全Python标准库总结 90天玩转Python--02--基础知识篇:初识Python与PyCharm 90天玩转Python—03—基础知识篇:Python和PyCharm(语言特点、学习方法、工具安装) 90天玩转Python—04—基础知识篇:Pytho…...
常见的常见免费开源绘图工具对比 draw.io/Excalidraw/Lucidchart/yEd Graph Editor/Dia/
拓展阅读 常见免费开源绘图工具 OmniGraffle 创建精确、美观图形的工具 UML-架构图入门介绍 starUML UML 绘制工具 starUML 入门介绍 PlantUML 是绘制 uml 的一个开源项目 UML 等常见图绘制工具 绘图工具 draw.io / diagrams.net 免费在线图表编辑器 绘图工具 excalidr…...
项目:自主实现Boost搜索引擎
文章目录 写在前面开源仓库和项目上线其他文档说明 项目背景项目的宏观原理技术栈与环境搜索引擎原理正排索引倒排索引 去标签和数据清洗模块html文件名路径保存函数html数据解析函数文件写入函数 建立索引模块检索和读取信息建立索引建立正排索引建立倒排索引jieba工具的使用倒…...
麒麟系统ARM安装rabbitmq
简单记录下,信创服务器:麒麟系统,安装rabbitmq的踩坑记录。 本文章参考了很多大佬文章,我整理后提供。 一、安装基础依赖 yum -y install make gcc gcc-c kernel-devel m4 ncurses-devel openssl-devel unixODBC-devel 二、下载…...
MongoDB数据更新大之大与小中小
学习mongodb,体会mongodb的每一个使用细节,欢迎阅读威赞的文章。这是威赞发布的第56篇mongodb技术文章,欢迎浏览本专栏威赞发布的其他文章。 数据更新中,往往要应对比较更新的场景。现在很多人喜欢跑步,规律跑步&…...
C语言开发实战:使用EasyX在Visual Studio 2022中创建井字棋游戏
🌟 前言 欢迎来到我的技术小宇宙!🌌 这里不仅是我记录技术点滴的后花园,也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛,这里总有一些内容能触动你的好奇心。🔍 &#x…...
Android与RN远程过程调用的原理
Android与RN远程过程调用的原理是通过通信协议进行远程过程调用。RPC(Remote Procedure Call)是分布式系统常见的一种通信方式,从跨进程到跨物理机已经有几十年历史。 在React Native中,通信机制是一个C实现的桥,打通了Java和JS,实现了两者的…...
MySQL-主从复制:概述、原理、同步数据一致性问题、搭建流程
主从复制 1. 主从复制概述 1.1 如何提升数据库并发能力 一般应用对数据库而言都是“读多写少”,也就说对数据库读取数据的压力比较大,有一个思路就是采用数据库集群的方案,做主从架构、进行读写分离,这样同样可以提升数据库的并…...
论文阅读《Semantic Prompt for Few-Shot Image Recognition》
论文地址:https://arxiv.org/pdf/2303.14123.pdf 论文代码:https://github.com/WentaoChen0813/SemanticPrompt 目录 1、存在的问题2、算法简介3、算法细节3.1、预训练阶段3.2、微调阶段3.3、空间交互机制3.4、通道交互机制 4、实验4.1、对比实验4.2、组…...
Linux初学(十七)docker
一、docker 1.1 简介 容器技术 容器其实就是虚拟机,每个容器可以运行不同的系统【系统以Linux为主的】 为什么要使用docker? docker容器之间互相隔离,可以提高安全性通过使用docker可以做靶场 1.2 安装配置docker 方法一:yum安装…...
Python---Numpy线性代数
1.数组和矩阵操作: 创建数组和矩阵:np.array, np.matrix 基本的数组操作:形状修改、大小调整、转置等 import numpy as np# 创建一个 2x3 的数组 A np.array([[1, 2, 3], [4, 5, 6]]) print("数组 A:\n", A)# 将数组 A 转换为矩阵…...
react+ echarts 轮播饼图
react echarts 轮播饼图 图片示例 代码 import * as echarts from echarts; import { useEffect } from react; import styles from ./styles.scss;const Student (props) > {const { dataList, title } props;// 过滤数据const visionList [{ value: 1048, name: Se…...
政安晨:【深度学习神经网络基础】(三)—— 激活函数
目录 线性激活函数 阶跃激活函数 S型激活函数 双曲正切激活函数 修正线性单元 Softmax激活函数 偏置扮演什么角色? 政安晨的个人主页:政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: 政安晨的机器学习笔记 希望政安晨的博客能够对您有所裨…...
使用tomcat里的API - servlet 写动态网页
一、创建一个新的Maven空项目 首次创建maven项目的时候,会自动从maven网站上下载一些依赖组件(这个过程需要保证网络稳定,否则后续打包一些操作会出现一些问题) ps:校园网可能会屏蔽一些网站,可能会导致maven的依赖…...
从0到1搭建文档库——sphinx + git + read the docs
sphinx git read the docs 目录 一、sphinx 1 sphinx的安装 2 本地构建文件框架 1)创建基本框架(生成index.rst ;conf.py) conf.py默认内容 index.rst默认内容 2)生成页面(Windows系统下…...
网站验证码怎么做/品牌推广公司
ODBC是一种连接数据库的开放标准,OLEDB(对象链接和嵌入数据库)位于ODBC层与应用程序之间. 在你的ASP页面里,ADO是位于OLEDB之上的应用程序. 你的ADO调用先被送到OLEDB,然后再交由ODBC处理ODBC是一种连接数据库的开放标准。 ODBC(OpenDataBase Connectivityÿ…...
做书照片网站/网站优化联系
只有0702表是这样的情况,0101表可以使用like和between and转载于:https://www.cnblogs.com/orchid-sky/p/3542853.html...
大连开发区论坛网/seo优化技术培训中心
今天这篇文章来分析一下什么是前后端分离的相关知识,很多小伙伴不清楚到底什么是前端,什么是后端,什么是前后端分离。在说前后端分离之前,我们先要弄清楚这几个概念,大家可能经常听到前端,后端或者是大前端…...
做外贸 网站邮箱申请/mac蜜桃923色号
一、volatile 用法 可以将成员函数声明为volatile, 如果一个类对象的值可能被修改的方式是编译器无法控制或检测的,例如:如果它是表示 I/O端口的数据结构,则把它声明为 volatile 与 const 类对象类似,对于一个 volatil…...
秦皇岛网站制作专家教你简单建站/sem是什么检测分析
VS 2008 和 Visual Web Developer 2008 Express可以与VS 2005并行安装。.NET 3.5 Beta2还包括一个go-live许可,这允许你构建和部署基于这些产品之上的生产性的应用。 非常重要的注意事项: 请阅读本博客贴子下面的“安装注意事项”,内含安装之…...
杨和勒流网站建设/百度没有排名的点击软件
利用Python进行Excel自动化操作的过程中,尤其是涉及VBA时,可能遇到消息框/弹窗(MsgBox)。此时需要人为响应,否则代码卡死直至超时 [^1] [^2]。根本的解决方法是VBA代码中不要出现类似弹窗,但有时我们无权修…...