redis持久化机制 事务详解

目录

前言：

持久化机制

RDB（Redis DataBase）

手动触发 

save

bgsave

自动触发

RDB特点

AOF（append only file）

缓冲区刷新策略

重写机制

aof重写流程

混合持久化

事务

事务操作命令

WATCH

WATCH实现原理

---

前言：

    redis为了保证高可用引入了持久化机制，目的就是为了redis服务器重启时可以恢复原有的数据。redis提供了RDB，AOF和混合持久化三种机制，开发者可在不同的业务场景具体选择使用哪一个持久化机制。

持久化机制

RDB（Redis DataBase）

    定期备份，每隔一段时间将内存中的数据刷新到硬盘中，生成一个快照rdb文件（用来恢复数据）。

手动触发 

save

    执行save的时候，redis会全力以赴的进行“快照生成”的操作，此时就会阻塞其他客户端的命令，因为redis是单线程模型。（一般不建议）

bgsave

1）不会影响redis处理其他客户端的命令。redis在后台采用多进程方式生成rdb文件。

2）redis将内存中的数据以压缩的方式保存到二进制文件中（镜像文件，rdb文件）。

3）redis服务器重启时，需要加载这个快照文件，如果快照文件格式不对，redis服务可能会启动失败。同时redis提供了rdb文件检查工具，可以手动执行进行rdb文件校验。

执行流程

    当生成rdb镜像文件时，首先会保存在一个临时文件中，当快照生成完毕后。然后删除原来的rdb文件，将临时文件替换为新的rdb文件。（始终rdb文件只有一个）

    多进程处理bgsave。当触发bgsave命令时，redis首先会判断是否有其他进程在执行rdb文件操作，如果有其他正在运行的进程则直接返回。

    redis会fork一个和当前进程一模一样的子进程（文件描述符表，虚拟内存地址等等进程信息都是一致的）。并且也是共用同一块内存空间（防止内存数据量太大fork时就比较消耗资源），只有当父进程修改了内存中的数据时，此时子进程就会复制内存中的数据，不在和父进程共享同一块内存了。当子进程处理完rdb文件时，使用信号通知父进程，父进程就可以销毁这个子进程了。

redis生成快照操作触发时机：

1）配置文件中M时间内修改N次，自动触发。

2）通过shutdown命令正常停止redis服务。

3）redis进行主从复制的时候，主节点会自动生成rdb快照，然后把rdb快照传输给从节点。

自动触发

    在redis配置文件中，设置每隔多长时间/数据修改多少次就触发。

RDB特点

1）RDB是一个紧凑压缩的二进制文件，代表redis在某个时间点上的数据快照。非常适用于备份，全量复制等场景。

2）redis加载RDB文件恢复数据远远快于AOF的方式。（主要由于RDB是二进制文件）

3）RDB方式数据没办法做到实时持久化/秒级持久化。因为bgsave每次运行都要fork子进程，属于重量级操作，频繁执行成本过高。

4）RDB用特定的二进制文件保存，redis是有多个版本的，存在兼容性问题。

注意：

    rdb持久化机制不能做到实时持久化，每次持久化操作之间都会存在时间间隔。那么在时间间隔内，如果redis服务器宕机了，这段间隔时间内数据还没有生成rdb文件，那么服务器重启就会丢失数据。

AOF（append only file）

    AOF是一个文本文件，每次进行redis操作，都会被追加到文件末尾（直接追加操作redis命令）

注意：

    redis首先将内存中的数据写入内存中的缓冲区，积累一波后，再统一写入到硬盘中。（大大降低了写硬盘的次数）

    AOF每次将新的操作追加到文件末尾，属于顺序写入，效率相对较高。

缓冲区刷新策略

可配置值	说明
always	命令写入aof_buf 后调用fsync同步，完成后返回
everysec	命令写入aof_buf 后只执行write操作，不进行fsync，每秒由同步线程进行fsync
no	命令写入aof_buf 后只执行write操作，由操作系统控制fsync频率

注意：

    上述缓冲区刷新策略由快到慢，那么数据可靠性由高到低，性能由低到高。配置文件中都是可修改的。

重写机制

    aof文件中存在一些冗余的记录（一些命令的中间状态也都保存了），redis重写机制针对aof文件进行整理，达到瘦身的效果。

    aof文件中数据只关注内存中最终状态，因此只需要将内存中的数据状态写入新aof文件，替换掉原来的就可以。

触发时机：

    手动触发：bgrewriteaof命令。

    自动触发：配置文件中进行配置（触发时aof最小文件大小，aof相比于上次文件大小增加的比例）

aof重写流程

    父进程会fork一个子进程，子进程将此刻内存数据按照aof格式写入到新aof文件。同时父进程继续处理命令，同时也写入到aof_rewrite_buf和旧aof文件中。

    当子进程将新aof文件写入完毕，使用信号通知父进程，然后将父进程写入的aof_rewrite_buf合并到新aof文件，然后替换掉旧aof文件。

问：为什么父进程需要写旧aof文件，不是最后要替换掉吗？

    如果子进程写新aof文件，突然进程挂了，那么aof文件就是不完整的。如果没有旧aof文件，数据就丢失了。

 

注意：

    重写只关注内存中的最终状态，不关注aof文件中原来有啥。

    如果，在执行bgrewriteaof的时候，已经在执行aof重写了，此时不会再次执行aof重写，直接返回了。

    如果，在执行bgrewriteaof的时候，redis正在生成rdb快照，此时redis的aof重写就会等待，等待rdb文件生成完毕，再执行aof重写。

混合持久化

    结合了aof和rdb机制的特点。

    按照aof的方式将每一步操作都记录到文件中。在触发aof重写机制后，就会把当前内存的状态按照rdb的二进制格式写入到文件中，后续再操作仍然是按照aof文本追加的方式写入文件。

注意：

    当redis上同时存在aof和rdb文件时，以aof为主，rdb就被忽略了。

事务

    把多个操作打包到一起，要么全都执行，要么全都不执行。如果执行若干条命令，失败了，那就失败了，没有任何处理。（由于和mysql相比这里没有回滚操作，那么认为redis事务没有原子性）。

    不具备一致性：redis没有约束，也没有回滚机制。事务执行过程中如果某个修改操作失败，就会导致不一致的情况。

    不具备持久性：redis是内存数据库，数据存储在内存中的。虽然有持久化机制，但也是为了redis恢复数据，和这里没有关系。

    不涉及隔离性：redis是单线程处理请求命令，所有请求都是串行执行的，不涉及并发。

redis事务主要意义：

    就是为了打包命令，防止其他客户端命令插队。

注意：

    redis实现事务引入了队列（每个客户端都有一个）。开启事务的时候，客户端请求命令就会进入到这个队列，而不会立即执行，当提交事务的时候，redis才会打包一起按照顺序执行这些命令。主线程会把这些命令处理完，再处理其他客户端请求。

    redis如果按照集群模式部署，不支持事务。

事务操作命令

开启事务：MULTI

提交事务：EXEC

放弃当前事务：DISCARD

注意：

    当开启事务，并且客户端发送若干条命令后，如果redis服务重启，那么就会放弃当前的事务（DISCARD）。

WATCH

    监控某个key，是否在事务执行之前发生了改变。

    如果在事务执行时发现了某个key被其他客户端修改了，那么事务提交时就不会真正执行这条修改命令。

WATCH实现原理

    基于版本号机制实现类似“乐观锁”。预测锁竞争不是很激烈，即其他客户端在事务提交之前修改相同数据概率不是很大。

    当使用watch监控某个key时，会给这个key分配一个版本号，如果有其他客户端修改了这个key，则版本号会变大。当exec提交事务的时候就会判断，这个key版本号是否和之前watch记录的版本号一致。

    如果一致则说明key没有被修改过，就会正常执行事务中的命令。如果不一致则说明key被其他客户端修改过，就会直接丢弃事务中的操作，exec返回nil。