Docker多架构镜像构建踩坑记

背景

公司为了做信创项目的亮点，需要将现有的一套在X86上运行的应用系统迁移到ARM服务器上运行，整个项目通过后端Java，前端VUEJS开发通过CICD做成Docker镜像在K8S里面运行。但是当前的CICD产品不支持ARM的镜像构建，于是只能手工构建ARM镜像。以下是一些踩坑的记录，希望能帮大家少踩坑

构建环境

• 本地电脑 Deepin Linux 23 (Windows的WSL和其他的Linux系统都可以）,X86_64架构
• Docker镜像的本地代理，使用v2ray启的socks5://10.32.4.150:10808
• 自建的Harbor仓库，地址: harbor.wldc.site

目标

通过本地制作一个双架构的应用运行基础镜像，并推送到harbor仓库中

步骤

1. 在本地电脑上安装docker-ce,我是Deepin的系统可以直接运行以下命令安装，其它的系统安装方式，大家百度以下。

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list
#提示: 如果 $(lsb_release -cs) 返回的不是 buster 或 bullseye，可以手动替换为 buster 或 bullseye，这里我是替换了的
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian bullseye stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker

2. 配置docker，由于国内的环境，docker的使用目前非常的不友好，就是这个代理就踩了非常多的坑，还有就是https，http，证书受信等各种坑，都踩过了。这里一次性把docker的配置都贴了，也不知道是那个配置文件解决的问题。为了避免浪费时间，建议大家抄配置。
   /etc/docker/daemon.json

#以下文件10.32.4.150是本地电脑的IP地址，运行的socks5代理
{"insecure-registries": ["10.159.16.19","harbor.wldc.site"],"proxies": {"http-proxy": "socks5://10.32.4.150:10808","https-proxy": "socks5://10.32.4.150:10808","no-proxy": "11.0.0.0/8,10.0.0.0/8,.example.org,127.0.0.0/8,.cn-southwest-2.myhuaweicloud.com,10.159.16.19,.wldc.site"}}

/etc/systemd/system/docker.service.d/http-proxy.conf

[Service]
Environment="HTTP_PROXY=socks5://10.32.4.150:10808"
Environment="HTTPS_PROXY=socks5://10.32.4.150:10808"
Environment="NO_PROXY=localhost,127.0.0.1,.wldc.site"

~/.docker/config.json

{"auths": {"harbor.wldc.site": {"auth": "YWRtaW46TUxYWFVSS1lncVdrdjdrbQ=="},"https://index.docker.io/v1/": {"auth": "a2V2aW5ua********A2MzkxOQ=="}},
"proxies": {"default": {"httpProxy": "http://10.32.4.150:10808","httpsProxy": "http://10.32.4.150:10808","noProxy": "localhost,127.0.0.1,.wldc.site"}
}
}

上面3个文件配置完成以后，重启docker服务

systemctl daemon-reload && systemctl restart docker

3. 创建docker的多架构builder，默认的builder只支持和宿主机一样的架构镜像，高版本的docker（>=19）默认也安装了buildx的插件。

#创建命令
docker buildx create --use --bootstrap --name multiarch \--platform linux/amd64,linux/arm64 \--buildkitd-flags '--allow-insecure-entitlement network.host' \--buildkitd-config ./buildkitd.toml \--driver docker-container \--driver-opt image=buildkit:buildx-stable-2 \--driver-opt env.HTTP_PROXY=socks5://10.32.4.150:10808 \--driver-opt env.HTTPS_PROXY=socks5://10.32.4.150:10808 \--driver-opt env.NO_PROXY=.wldc.site \--driver-opt env.http_proxy=socks5://10.32.4.150:10808 \--driver-opt env.https_proxy=socks5://10.32.4.150:10808 \--driver-opt env.no_proxy=.wldc.site 

以上的命令说明：

* --buildkitd-flags,这个参数影响非https的harbor的镜像推送
* --buildkitd-config ，这个参数是多架构构建builder的配置文件，详细的配置可以参考https://github.com/moby/buildkit/blob/master/docs/buildkitd.toml.md ，我就配置了一个镜像仓库非https，不然推送镜像的时候要报错
* --driver ，这个参数和后面的--driver-opt联合，主要是解决镜像代理拉去以及非https的问题
* --driver-opt image=buildkit:buildx-stable-2 ，这个是使用的builder的镜像，这个参数如果不添加，默认使用的moby/buildkit:buildx-stable-1,并且从dockerhub上面去拉。如果本地网络不通，就拉不了镜像，或者要做定制化，就手动本地打包一下镜像。

buildkitd.toml 文件内容

insecure-entitlements = [ "harbor.wldc.site", "10.159.16.19" ]
[registry."harbor.wldc.site"]http = trueinsecure = true

4. 确认多架构的builder运行成功

#命令 docker buildx ls
NAME/NODE        DRIVER/ENDPOINT                   STATUS    BUILDKIT   PLATFORMS
multiarch*       docker-container                                       \_ multiarch0    \_ unix:///var/run/docker.sock   running   v0.18.1    linux/amd64*, linux/arm64*, linux/amd64/v2, linux/amd64/v3, linux/386
default          docker                                                 \_ default       \_ default                       running   v0.16.0    linux/amd64, linux/amd64/v2, linux/amd64/v3, linux/386

5. 通过Dockerfile构建多架构镜像，并推送到自建的harbor里面

export BUILDKIT_NO_CLIENT_TOKEN=1 #这个必须要运行，不然builder会去连接docker的auth服务，这个坑花了我很多时间。最后在这里找到了：https://forums.docker.com/t/docker-build-fails-while-docker-pull-works-as-expected/144116/5
docker buildx build  --platform=linux/amd64,linux/arm64  \
--network host \
--add-host harbor.wldc.site:10.159.16.19 \
--build-arg HTTP_PROXY=socks5://10.32.4.150:10808  \
--build-arg HTTPS_PROXY=socks5://10.32.4.150:10808  \
--build-arg NO_PROXY=localhost,127.0.0.1,.wldc.site  \
--build-arg http_proxy=socks5://10.32.4.150:10808  \
--build-arg https_proxy=socks5://10.32.4.150:10808  \
--build-arg no_proxy=localhost,127.0.0.1,.wldc.site  \
--push  -t harbor.wldc.site/base/openeuler:22.03-lts-sp4 .

画重点
如果harbor是用的域名访问，需要把这个域名写入到运行的builder的容器里面，宿主机配置了host不管用，–add-host 参数也不管用，如果大家发现了有其它的方法请留言给我，谢谢。以下是部署

root@KevinLiu-PC:/tmp# docker ps
CONTAINER ID   IMAGE                      COMMAND                   CREATED             STATUS             PORTS     NAMES
9b774b15a81f   buildkit:buildx-stable-2   "buildkitd --config …"   About an hour ago   Up About an hour             buildx_buildkit_multiarch0
root@KevinLiu-PC:/tmp# docker exec -it  9b774b15a81f sh
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      9b774b15a81f
10.159.16.19 harbor.wldc.site
/ # 

6. 登录harbor检测推送的多架构的镜像
   

总结

在多架构构建的过程中遇到了很多问题，都于网络有关，目前国内的情况就是这样，没有办法。同时多架构的镜像构建，对于Dockerfile也有要求，针对Java这种语言，已经有JVM做了跨平台，编译出来的制品可以直接跨平台；但是如果是golang的应用，在编译和Dockerfile的时候都要独立处理。比如如下的Dockerfile,最后希望大家少踩坑。

# 第一步：构建阶段，在构建的时候buildx会同时拉两种架构的镜像
FROM  golang:1.18-alpine AS builder
# 设置环境变量
ENV CGO_ENABLED=0 \GOOS=linux \GO111MODULE=on
# 声明用于判断架构的参数
ARG TARGETARCH
# 工作目录
WORKDIR /app
# 拷贝源代码
COPY . .
# 下载依赖
RUN go mod tidy
# 针对不同架构执行操作,如果有特殊处理，可以在这个判断里面事项。当然如果Dockerfile具有通用性，可以不做判断
RUN if [ "$TARGETARCH" = "amd64" ]; then \echo "Building for amd64..."; \elif [ "$TARGETARCH" = "arm64" ]; then \echo "Building for arm64..."; \fi# 构建应用，不同的镜像打出来的二进制文件不一样
go build -o main .
# 第二步：运行阶段
FROM alpine:latest
# 安装时区数据和证书
RUN apk add --no-cache ca-certificates tzdata
# 设置工作目录
WORKDIR /root/
# 从构建阶段复制可执行文件
COPY --from=builder /app/main .
# 暴露端口（可选）
EXPOSE 8080
# 启动容器
CMD ["./main"]

#构建命令示例
docker buildx build --platform linux/amd64,linux/arm64 -t harbor.wldc.site/dev/demo:v1.0.0 -f Dockerfile .