PostgreSQL 常见配置参数

max_wal_size :

两个检查点（checkpoint）之间，WAL可增长的最大大小，即：自动WAL checkpoint允许WAL增长的最大值。

该值缺省是1GB。如果提高该参数值会提升性能，但也是会消耗更多空间、同时会延长崩溃恢复所需要的时间。

注意：这个参数是个软限制，不是硬限制，因此实际WAL可能会超过这个值（如：较大的 wal_keep_segments 设置）。

min_wal_size :

检查点（checkpoint）后用来保留的，用于未来循环使用的WAL文件。可以被用来确保有足够的WAL空间被保留来应付WAL使用的高峰，以供将来的检查点使用。这可以用来确保预留足够的WAL空间处理WAL使用中的峰值，比如当运行大批量工作时。

如果PG空闲时，会逐渐将WAL量减少到 min_wal_size。

该值缺省是80MB。请不要将该值设置的太小。

查看数据库 min_wal_size & max_wal_size 参数配置：

testdb01=> select name, setting, unit, short_desc from pg_settings where name like '%wal_size%';

max_wal_size | 1024 | MB | Sets the WAL size that triggers a checkpoint.

min_wal_size | 80 | MB | Sets the minimum size to shrink the WAL to.

也可以执行:

testdb01=> show max_wal_size;

1GB

testdb01=> show min_wal_size;

80MB

testdb01=>

WAL空间使用情况：

如果日志量大于 max_wal_size，则WAL日志空间尽量保持在 max_wal_size 。因为会触发检查点，不需要的段文件将被移除直到系统回到这个限制以下。

如果日志量小于 max_wal_size，则WAL日志空间至少保持 min_wal_size。可以被用来确保有足够的WAL空间被保留来应付WAL使用的高峰，以供将来的检查点使用。

通常情况下，WAL日志空间大小在 min_wal_size ~ max_wal_size 之间动态评估。该估计基于在以前的检查点周期中使用的WAL文件数的动态平均值。如果实际使用量超过估计值，动态平均数会立即增加。

-bash-4.2$ cd $PGDATA

-bash-4.2$ du -sh pg_wal && ls -lh pg_wal/

1.2G pg_wal

total 1.2G

-rw-------. 1 postgres postgres 16M Feb 6 09:20 000000010000000000000001

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000002

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000003

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000004

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000005

......

-rw-------. 1 postgres postgres 16M Feb 14 19:11 00000001000000000000003E

-rw-------. 1 postgres postgres 16M Feb 14 19:11 00000001000000000000003F

-rw-------. 1 postgres postgres 16M Feb 14 19:11 000000010000000000000040

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000041

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000042

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000043

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000044

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000045

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000046

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000047

drwx------. 2 postgres postgres 6 Dec 6 2021 archive_status

-bash-4.2$

pg_wal大小至少保留 80MB 的文件，也就是 000000010000000000000001~47 所有文件至少保留 80MB

执行checkpoint以后，pg_wal大小可能会降低到 max_wal_size 以内，多次执行checkpoint不一定会降低到 min_wal_size，这还处决于很多其他配置和因素。

关于checkpoint

checkpoint：

A checkpoint is a point in the write-ahead log sequence at which all data files have been updated to reflect the information in the log. All data files will be flushed to disk.

checkpoint是WAL(write-ahead log)日志中的一个位点，在这个点位之前数据库中的所有数据都和WAL日志中反映的信息相同，也就是说该位点之前所有 Shared Buffer 中的脏页均已被刷入到存储磁盘。

checkpoint 是一个名词，同时也是一个动词，执行一个 checkpoint 操作，会往 WAL 日志里写 checkpoint 位点。

PostgreSQL 写数据的过程：

INSERT INTO test01 VALUES(1);

流程如下：

step1：将 INSERT 1 这个操作写入 WAL 日志中。 WAL 日志是物理日志，记录的是对某个文件某个块的修改。

step2：修改 Shared Buffer 中该页的信息（如果该页不在 Buffer 中，则从磁盘去取），test01表中写入1。此时如果有表的读取则直接读取Shared Buffer返回数据。

step3：background writer 写磁盘(disk)。background 进程会在某个时刻将 Shared Buffer 中的数据刷到磁盘。但是这并不是立刻发生的，而是一个异步操作。

PostgreSQL数据库故障恢复：

如果上面step3过程中出现故障、background wirter 写磁盘失败了，那么PostgreSQL重启会进入恢复模式，会基于上次 checkpoint点位和 WAL(Redo) 日志进行重放，从而将数据刷到磁盘。

checkpoint 操作会往 WAL 日志里写 checkpoint 位点。例如：

WAL: | ... | INSERT 1 | INSERT 2 | ... | INSERT 3 | checkpoint |

|

-> 这里（INSERT 1之后）执行一个checkpoint操作，产生一个 redo point（重做位点），从这里开始到checkpoint写入时一个完整的checkpoint过程

checkpoint整个流程过程如下：

step1：checkpoint 操作首先记录下 checkpoint 的开始位置（INSERT 2之后），记录为 redo point（重做位点）;

step2：checkpoint 将 Shared Buffer 中的数据刷到磁盘里面去；

step3：这时候数据库又来了一条 SQL：INSERT 3；

step4：checkpoint 刷脏结束，redo point 之前的数据均已被刷到磁盘存储（数据1和2）；

step5：这时候在 WAL 日志里面记录 checkpoint 位点（INSERT 3后），表明 checkpoint 操作结束。checkpoint 位点会记录相关信息，比如 redo point 的值（从哪开始重做）；

step6：将最新的 checkpoint 位点记录在 pg_control 文件中。

从上面的流程可以看出，checkpoint 操作已经能保证将 redo point 位点之前的数据落盘了，那 redo point 之前的所有 WAL 日志都已经没有用了（即使下次故障，这部分数据已经被持久化落盘了，也不需要恢复），就可以请理了。不过有些特殊情况，即使WAL日志已经没有用了，也可能导致不被自动清理，例如创建了流复制插槽但未使用/消费。

数据库数据目录下pg_wal的WAL文件在开启归档的模式下，会将已归档WAL文件自动清理。

如果开启了归档，在pg_wal/archive_status目录下会有一些文件，以ready结尾的，表示可以归档但还没有归档，以done结尾的表示已经归档。

WAL文件的自动清理流程如下：

转储WAL段文件到disk，写满或者使用 pg_switch_wal() 后，会生成000000xxxx.ready文件，调用archive_command 命令且成功执行后，将ready文件更名为.done文件。而数据库会在执行checkpoint后计算出最旧的需保留的WAL文件，比该值更早的WAL文件均会被清理。

shared_buffers：

shared_buffers 是缓存。在数据库系统中，我们主要关注磁盘IO，而且其大多是随机IO，因此从磁盘的读取比较慢，为了解决这个问题，postgresql将数据缓存在内存中，牺牲内存来换取随机读取的性能。

shared_buffers 参数用来设置数据库服务器将使用的共享内存缓冲区量。默认通常是 12MB，但是如果你的内核设置不支持（在initdb时决定），那么可以会更少，但不能小于 128kB。

不过为了更好的性能，通常会使用明显高于最小值的设置。 如果指定值时没有单位(MB等)，则以块为单位，即BLCKSZ字节，通常为8kB。此参数只能在服务器启动时设置。

如果服务器内存被数据库专用、服务器内存 >= 1GB，合理的shared_buffers初始值是设置为系统内存的25%。shared_buffers并非越大越好，shared_buffers增大，也会造成一些工作负载。超过内存 40% 反而会不好。

shared_buffers更大的设置通常要求对max_wal_size也做相应增加。生产系统可以根据实际业务需求适当调整该参数。