docker 指定根目录 迁移根目录

1、问题描述

默认启动docker后，默认的docker根目录是/var/lib/docker
使用docker info 命令查看docker根目录

docker info

在有些服务器上，/ 根目录空间非常小而且不能动态扩容，不能承载太多的docker镜像和数据，随着docker的运行，默认的docker根目录是/var/lib/docker 占用空间越来越大，导致/ 目录爆满，系统崩溃。(为什么不扩充根目录呢？因为在有些服务器上根目录不是LVM分区、不能动态扩容)

不指定配置文件，默认启动docker服务后，docker根目录如下，查看docker根目录的组织结构

ls -l /var/lib/docker

整个根目录大小是340K

根目录下各个子目录大小如下

docker 根目录结构如下 这些？所在的地方都是空格

[root@centos ~]# tree /var/lib/docker/
/var/lib/docker/
├── buildkit
│?? ├── cache.db
│?? ├── containerdmeta.db
│?? ├── content
│?? │?? └── ingest
│?? ├── executor
│?? ├── history.db
│?? ├── metadata_v2.db
│?? └── snapshots.db
├── containerd
│?? └── daemon
│??     ├── io.containerd.content.v1.content
│??     │?? └── ingest
│??     ├── io.containerd.metadata.v1.bolt
│??     │?? └── meta.db
│??     ├── io.containerd.runtime.v1.linux
│??     ├── io.containerd.runtime.v2.task
│??     ├── io.containerd.snapshotter.v1.blockfile
│??     ├── io.containerd.snapshotter.v1.native
│??     │?? └── snapshots
│??     ├── io.containerd.snapshotter.v1.overlayfs
│??     │?? └── snapshots
│??     └── tmpmounts
├── containers
├── engine-id
├── image
│?? └── overlay2
│??     ├── distribution
│??     ├── imagedb
│??     │?? ├── content
│??     │?? │?? └── sha256
│??     │?? └── metadata
│??     │??     └── sha256
│??     ├── layerdb
│??     └── repositories.json
├── network
│?? └── files
│??     └── local-kv.db
├── overlay2
│?? └── l
├── plugins
│?? ├── storage
│?? │?? └── ingest
│?? └── tmp
├── runtimes
├── swarm
├── tmp
└── volumes├── backingFsBlockDev└── metadata.db39 directories, 11 files
[root@centos ~]#

2、问题分析

有2个思路解决docker根目录空间爆满的问题
1、整体规划，防患于未然
在docker程序启动前，通过docke daemon的配置文件指定一个很大或者可以动态扩容的文件目录作为docker根目录。
2、后知后觉，整体规划没做好，事后处理
如果在生产环境上，运行docker程序签没有手动指定docker根目录，造成默认的docker根目录就是/var/lib/docker，并且环境已经运行一段时间发现根目录空间不够了，这种情况下仍然可以通过docke daemon的配置文件指定一个很大或者可以动态扩容的文件目录作为docker根目录，只不过要把之前docker根目录/var/lib/docker下哦数据迁移到新的docker根目录即可。。

3、解决方法

3.1、启动docker程序前就手动指定docker根目录为一个大的分区(支持动态扩容)，事前就根本上解决根目录空间不够问题

3.1.0、方法思路

在docker启动前，先在配置文件中指定docker根目录，这个根目录的空间要保证非常大，或者这个根目录是能够动态扩容的，比如LVM分区。

linux上docker daemon配置文件是/etc/docker/daemon.json
windwos上docker daemon配置文件是C:\ProgramData\docker\config\daemon.json

本文以linux系统为例描述配置docker根目录方法
参考链接: https://docs.docker.com/config/daemon/

在linux系统上安装完成docker后，先不要启动docker程序。

先编辑docker配置文件/etc/docker/daemon.json

mkdir /etc/docker
vi /etc/docker/daemon.json

注：默认情况下这个docker配置文件是没有的，这里实际也就是新建一个/etc/docker/daemon.json

写入以下内容 其中/path/to/docker是自定义的docker根目录，需要保证/path/to/这个目录存在

{"data-root": "/path/to/docker"
}

然后启动docker服务

systemctl start docker.service

安装过程如下

3.1.1、docker官网安装文档

https://docs.docker.com/engine/install/binaries/

3.1.2、下载docker安装包

官方下载链接：https://download.docker.com/linux/static/stable/
选择最新版 26.1.0 下载

文件名：docker-26.1.0.tgz

3.1.3、安装docker 26.1.0

上传docker-26.1.0.tgz到linux服务器

cd /path/to/docker-26.1.0.tgz

tar -xzvf docker-26.1.0.tgz
cp docker/* /usr/bin/

至此安装完成docker

查看docker版本

docker --version

3.1.4、配置docker systemd服务

vi /etc/systemd/system/docker.service

插入以下内容

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
# Uncomment TasksMax if your systemd version supports it.
# Only systemd 226 and above support this version.
#TasksMax=infinity
TimeoutStartSec=0
# set delegate yes so that systemd does not reset the cgroups of docker containers
Delegate=yes
# kill only the docker process, not all processes in the cgroup
KillMode=process
# restart the docker process if it exits prematurely
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s[Install]
WantedBy=multi-user.target

为docker.service添加可执行权限

chmod +x  /etc/systemd/system/docker.service

重新加载docker.service配置文件，使得systemctl识别docker.service

systemctl daemon-reload

配置docker.service开机自启动

systemctl enable docker.service

查看操作系统文件系统目录

df -lTh

编辑docker配置文件/etc/docker/daemon.json

mkdir /etc/docker
vi /etc/docker/daemon.json

注：默认情况下这个docker配置文件是没有的，这里实际也就是新建一个/etc/docker/daemon.json

写入以下内容 其中/home/docker是自定义的docker根目录

{"data-root": "/home/docker"
}

启动docker服务前执行docker info 查看docker根目录 报错：docker服务未在运行

docker info

启动docker服务前查看docker根目录结构，还没有创建docker根目录

然后启动docker服务

systemctl start docker.service

启动docker服务时，会自动创建docker根目录/home/docker

查看docker服务

systemctl status docker.service

查看docker信息

docker info

得知docke的根目录是 /home/docker

查看docker根目录的组织结构

ls -l /home/docker

整个根目录大小是340K、根目录下各个子目录大小如下

导入镜像前查看 /home/docker/overlay2

ls -l /home/docker/overlay2

导入redis镜像文件

导入mysql像文件

查看操作系统文件系统目录

df -lTh

启动docker前的操作系统文件系统目录如下

df -lTh

发现导入2个镜像后 docker根目录所在的/homr分区 就增大了差不多1G。后期docker会导入更多的镜像、docker系统日志会占用很多空间，因此在启动docker服务前先编辑配置文件选择一恶搞大的分区作为docker根目录是很重要的。

3.2、发现docker根目录爆满了，改变docker根目录为一个大的分区(支持动态扩容)，事后解决根目录空间不够问题(需要迁移之前的根目录数据到新的根目录)

3.2.1、正常安装docker后 docker根目录是/var/lib/docker

3.2.1.1、官网安装文档

https://docs.docker.com/engine/install/binaries/

3.2.1.2、下载docker安装包

官方下载链接：https://download.docker.com/linux/static/stable/
选择最新版 26.1.0 下载

文件名：docker-26.1.0.tgz

3.2.1.3、安装docker 26.1.0

上传docker-26.1.0.tgz到linux服务器

cd /path/to/docker-26.1.0.tgz

tar -xzvf docker-26.1.0.tgz
cp docker/* /usr/bin/

至此安装完成docker

查看docker版本

docker --version

3.2.1.4、配置docker systemd服务

vi /etc/systemd/system/docker.service

插入以下内容

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
# Uncomment TasksMax if your systemd version supports it.
# Only systemd 226 and above support this version.
#TasksMax=infinity
TimeoutStartSec=0
# set delegate yes so that systemd does not reset the cgroups of docker containers
Delegate=yes
# kill only the docker process, not all processes in the cgroup
KillMode=process
# restart the docker process if it exits prematurely
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s[Install]
WantedBy=multi-user.target

为docker.service添加可执行权限

chmod +x  /etc/systemd/system/docker.service

重新加载docker.service配置文件，使得systemctl识别docker.service

systemctl daemon-reload

配置docker.service开机自启动

systemctl enable docker.service

启动docker服务

systemctl start docker.service

查看docker服务

systemctl status docker.service

查看docker信息

docker info

得知docker默认的根目录是 /var/lib/docker

查看docker根目录的组织结构

ls -l /var/lib/docker

整个根目录大小是340K

根目录下各个子目录大小如下

3.2.2、默认根目录安装docker后，创建容器和容器数据一段时间后发现docker根目录空间不够、需要迁移根目录

3.2.2.1、创建redis、mysql容器

上传redis镜像包redis7.2.4.tar、mysql镜像包mysql8.4.0.tar到服务器
导入镜像包前查看dock镜像、docker容器都是空的

导入redis、mysql镜像

cd /path/to/redis7.2.4.tar
docker load -i redis7.2.4.tar
cd /path/to/mysql8.4.0.tar
docker load -i mysql8.4.0.tar

创建redis、mysql容器

docker run --name redis7.2.4 --user=root --net=host --privileged --cap-add=ALL -idt --log-opt max-size=64m --log-opt max-file=3 --restart=always redis:7.2.4

docker run --name mysql8.4.0 --user=root --net=host --privileged --cap-add=ALL -idt -e MYSQL_ROOT_PASSWORD=root --log-opt max-size=64m --log-opt max-file=3 --restart=always mysql:8.4.0

查看redis、mysql容器

docker ps -a

查看docker根目录的组织结构

ls -l /var/lib/docker

整个根目录大小是1.7G，根目录下各个子目录大小如下。仅仅是导入了redis、mysql镜像、创建了redis、mysql容器，仅仅2个容器根目录从最初docker安装后的340K增大到了1.7G，这仅仅是刚刚导入镜像和创建容器后的根目录占用量1.7G。

查看操作系统分区占用情况

df -lTh

等mysql运行一段时间后，假设是业务环境、数据表数据量非常多、很快mysql的空间占用率会急剧增大，这个占用量就在docker根目录里。因为mysql的数据量占用空间属于mysql容器、mysql容器占用空间属于docker根目录，最终导致docker根目录也就是/var/lib/docker占用量急剧增大，最终导致操作系统上docker根目录所在的分区爆满，如果操作系统docker根目录所在的分区不能动态扩容，操作系统很快就会因为docker根目录所在的分区爆满而崩溃。

这种情况下就需要考虑迁移docker根目录数据到新的docker根目录，并且修改docker配置文件指定新的docker根目录。

3.2.2.2、创建redis、mysql数据

下面创建mysql数据表，为了快速创建，直接从其他数据库中备份的sql文件恢复到mysql容器中。
创建mysql数据表前查看mysql容器中mysql根目录占用空间 占用了213M，mysql容器内部查看操作系统分区信息，发现mysql容器的根目录就是docker服务的根目录所在宿主机的分区，因此docker服务根目录一定要大，或者能够动态扩容才行，不然很快就会因为容器的占用空间增大导致docker服务根目录增大，最终导致docker服务的根目录所在宿主机的分区爆满、最终操作系统崩溃。

查看mysql容器内部的mysql配置文件/etc/my.cnf发现mysql根目录是/var/lib/mysql

cat /etc/my.cnf|grep -i dir

这次新安装的mysql容器数据库如下

直接从其他数据库中备份的sql文件恢复到mysql容器中

恢复mysql数据完成

再次查看mysql容器数据库如下

show databases;
use kgc;
select table_name,table_comment,create_time from information_schema.TABLES where table_schema='kgc';
select * from banji;

恢复mysql数据完成后再次查看mysql容器中mysql根目录占用空间 占用从213M增加到了352M。这是因为恢复的数据库表占用了空间。

mysql容器操作系统根目录占用空间从2.4G增大到了2.6G。

mysql容器数据量占用的增大，最终体现在宿主机上就是docker根目录的增大，从1.7G增大到了1.9G。

很快随着mysql容器的占用空间增大，最终会在宿主机上就是docker根目录的增大，最终导致宿主机上docker根目录所在的分区磁盘占用爆满，操作系统崩溃。怎么解决这个问题呢？只需迁移docker根目录到一个比较大的分区即可或者迁移docker根目录到一个可以动态扩展的分区，通常二者都要，把docker根目录迁移到一个空间比较大的而且可以动态扩容的分区即可。

在本博文3.2.3节中如果发现停止docker服务后和开启docker服务后，docker根目录占用空间不同，这是正常的，因为开启docker服务会拉起容器，啦气的容器占用了空间所致。

3.2.3、配置新的docker根目录、迁移docker根目录数据到新的根目录

停止docker服务

systemctl stop docker.service

建立新的docker根目录，执行命令df -h,找一个大的磁盘。这里指定的docker新的根目录是/home/docker

mkdir -p /home/docker

迁移/var/lib/docker目录下面的文件到 新的docker根目录/home/docker/home/docker

rm -rf /home/docker
cp -r /var/lib/docker   /home/docker

编辑docker配置文件/etc/docker/daemon.json 指定docker根目录是/home/docker

mkdir /etc/docker
vi /etc/docker/daemon.json

注：默认情况下这个docker配置文件是没有的，这里实际也就是新建一个/etc/docker/daemon.json

写入以下内容 其中/mnt/docker是自定义的docker根目录

{"data-root": "/home/docker"
}

然后启动docker服务

systemctl start docker.service

检查dockerx新的根目录是否配置成功

docker info | grep 'Docker Root Dir'

启动docker服务成功后，确认之前的镜像和容器还在不

docker images
docker ps -a

镜像容器都在，说明本次迁移根目录是成功的。mysql容器没有启动成功需要接下来接续排查。

3.2.4、重要！！！迁移docker根目录后 确认docker服务正常

3.2.4.1、检查容器启动是否正常，docker logs 查看容器启动日志

docker logs -f mysql8.4.0 --tail 200

日志显示是因为没有权限在/tmp下创建新的文件

查看/tmp 权限有写额权限

想到可能是mysql容器挂载目录的权限问题，查看mysql容器挂载目录

docker inspect mysql8.4.0|grep Mounts -C20

看宿主机上挂载目录的权限是不是1777，果然不是1777

查看原docker根目录下这个目录的权限是777

因此修改新docker根目录小这个目录的权限为777

systemctl stop docker.service
chmod -R 1777 /home/docker/volumes/e6265e69cc98fd7098523608fad604830884c4299dcbd6d1ea1aaaa29c6f7469/_data
systemctl start docker.service

然后Mysql容器后仍然报同样的错误

可能是docker根目录下其他的哪个目录权限不对 因此直接更改整个docker根目录权限是777 然后重启docker服务

systemctl stop docker.service
chmod -R 777 /home/docker/
systemctl start docker.service

查看所有容器都是正常启动的状态了

3.2.4.2、执行容器内部服务检测，确认容器服务的接口调用是否正常

进入mysql容器 查看数据库表和迁移docker根目录之前是否一致
登录mysql报错：mysql: [Warning] World-writable config file ‘/etc/my.cnf’ is ignored.

参考链接: https://www.cnblogs.com/hf8051/p/4991699.html

设置/etc/my,cnf的权限为644即可 即root用户可读写，其他用户不可写

再次登录mysql 报错：ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’ (2)

这个问题重启mysql容器即可

然后登录mysql报错：ERROR 1524 (HY000): Plugin ‘mysql_native_password’ is not loaded

这个问题需要修改/etc/my.cnf 在[mysqld]下面添加一行：skip-grant-tables(加上这句话之后重启mysql就可以免输密码登录了)

修改后如下

再次重启mysql容器 可以登录进mysql

查看mysql root用户的auth_plugin是mysql_native_password，这个mysql版本是8.4.0 已经启用了新的auth_plugin：caching_sha2_password，默认是caching_sha2_password。
因为上面恢复数据库数据用的是其他数据库的sql备份文件(这个数据库的auth_plugin是mysql_native_password、并且密码字段也被恢复成了这个数据库的密码 所以现在已经看不到原先的密码字段是什么内容了)导致的。现在只需要更改root用户的plugin为caching_sha2_passwor之后再重置root用户密码即可。

use mysql;
select user,plugin from user;

重置root用户的auth_plugin为caching_sha2_password

update user set plugin='caching_sha2_password' where user='root';

然后就是重置root用户的密码 操作步骤如下：
如果当前root用户authentication_string字段下有内容，先将其设置为空；

select user,authentication_string,plugin from user;

update user set authentication_string='' where user='root';
select user, authentication_string,plugin from user;

然后去掉/etc/my.cnf中的 skip-grant-tables这一行，重启mysql容器

使用root用户进行登录，因为上面设置了authentication_string为空，所以可以免密码登录；

mysql -u root -p
passwrod:直接回车；

然后使用ALTER修改root用户密码；

修改前root密码为空

修改root密码为root

ALTER USER 'root'@'%' IDENTIFIED BY 'root' PASSWORD EXPIRE NEVER;

修改root密码后如下

select user,authentication_string,plugin from user;

至此修改成功； 从新使用新的密码登录root用户即可；

再次登录mysql root用户输入正确密码root即可成功登录

输入错误密码不可登录

查询banji表的数据 和迁移docker根目录之前的数据是一样的。说明mysql容器内部服务没问题。

3.2.4.3、执行df -lh 查看输出确认docker根目录是否已迁移到新路径

迁移docker根目录后 宿主机操作系统执行df -lTh

df -lTh

迁移docker根目录后前 宿主机操作系统执行df -lTh

df -lTh

迁移docker根目录前后 ，宿主机操作系统执行df -lTh查看确实 docker根目录已经从/var/lib/docker变成了/home/docker

以上确认均没问题，至此，本次docker根目录迁移完成。