K8S搭建NACOS集群踩坑问题

一、NACOS容器启动成功无法访问

1. 现象描述：通过K8S的statefulset启动，通过NodePort暴露不能在外网访问，只能在MASTER主节点访问。

2. yaml配置：

apiVersion: apps/v1
kind: StatefulSet
metadata:name: 'nacos-${parameters.nameSpace}-dm'namespace: '${parameters.nameSpace}'
spec:replicas: 1selector:matchLabels:app: 'nacos-${parameters.nameSpace}'serviceName: 'nacos-${parameters.nameSpace}'template:metadata:annotations:pod.alpha.kubernetes.io/initialized: 'true'labels:app: 'nacos-${parameters.nameSpace}'spec:containers:- env:- name: NACOS_REPLICASvalue: '1'- name: MYSQL_SERVICE_HOSTvalueFrom:configMapKeyRef:key: mysql.hostname: 'nacos-${parameters.nameSpace}-cm'- name: MYSQL_SERVICE_DB_NAMEvalueFrom:configMapKeyRef:key: mysql.db.namename: 'nacos-${parameters.nameSpace}-cm'- name: MYSQL_SERVICE_PORTvalueFrom:configMapKeyRef:key: mysql.portname: 'nacos-${parameters.nameSpace}-cm'- name: MYSQL_SERVICE_USERvalueFrom:configMapKeyRef:key: mysql.username: 'nacos-${parameters.nameSpace}-cm'- name: MYSQL_SERVICE_PASSWORDvalueFrom:configMapKeyRef:key: mysql.passwordname: 'nacos-${parameters.nameSpace}-cm'- name: MODEvalue: cluster- name: NACOS_SERVER_PORTvalue: '8848'- name: NACOS_APPLICATION_PORTvalue: '8848'- name: NACOS_SERVERSvalue: >-nacos-${parameters.nameSpace}-dm-0.nacos-${parameters.nameSpace}.${parameters.nameSpace}.svc.cluster.local:8848- name: PREFER_HOST_MODEvalue: hostname- name: nacos.naming.data.warmupvalue: 'false'image: 'nacos/nacos-server:2.0.3'imagePullPolicy: Alwaysname: k8snacosports:- containerPort: 8848name: client- containerPort: 9848name: client-rpc- containerPort: 9849name: raft-rpcresources:requests:cpu: 500mmemory: 2GiimagePullSecrets:- name: '${parameters.imagePullSecrets}'nodeName: host-52hostNetwork: trueapiVersion: v1
kind: Service
metadata:labels:app: 'nacos-${parameters.nameSpace}'name: 'nacos-${parameters.nameSpace}'namespace: '${parameters.nameSpace}'
spec:ports:- name: servernodePort: 28855port: 8848targetPort: 8848selector:app: 'nacos-${parameters.nameSpace}'type: NodePort

3. 原因分析： 因为我们要将POD固定运行在NODE52这台节点上，所以加上了

nodeName: host-52，但是同时也加上了hostNetwork: true，导致POD已经启动，但是只能在主节点通过28855端口访问，其它局域网机构加上28855端口无法访问。

在k8s中，若pod使用主机网络，也就是hostNetwork=true。则该pod会使用主机的dns以及所有网络配置，默认情况下是无法使用k8s自带的dns解析服务

但是可以修改DNS策略或者修改主机上的域名解析（/etc/resolv.conf），使主机可以用k8s自身的dns服务。一般通过DNS策略（ClusterFirstWithHostNet）来使用k8s DNS内部域名解析，k8s DNS策略如下：

Default： 继承Pod所在宿主机的DNS设置，hostNetwork的默认策略。

ClusterFirst（默认DNS策略）：优先使用kubernetes环境的dns服务，将无法解析的域名转发到从宿主机继承的dns服务器。

ClusterFirstWithHostNet：和ClusterFirst类似，对于以hostNetwork模式运行的Pod应明确知道使用该策略。也是可以同时解析内部和外部的域名。

None： 忽略kubernetes环境的dns配置，通过spec.dnsConfig自定义DNS配置。

4. 修改方案

4.1 一般使用主机网络就增加如下几行即可：

hostNetwork:true dnsPolicy:"ClusterFirstWithHostNet"

4.2 第二种方案 去除 hostNetwork:true

二、无法拉取私有仓库镜像

1. 现象描述

kubectl describe pod nacos-itest-dm-0 -n itest

Events:Type     Reason          Age                    From               Message----     ------          ----                   ----               -------Normal   Scheduled       6m25s                  default-scheduler  Successfully assigned gov-itest/nacos-gov-itest-dm-0 to host-112Normal   SandboxChanged  6m23s                  kubelet            Pod sandbox changed, it will be killed and re-created.Warning  Failed          5m41s (x3 over 6m24s)  kubelet            Failed to pull image "public-repository/prdsl/nacos-server:2.0.2": rpc error: code = Unknown desc = Get  unauthorized: Invalid credential. 请确认输入了正确的用户名和密码。Warning  Failed          5m41s (x3 over 6m24s)  kubelet            Error: ErrImagePullNormal   BackOff         5m7s (x7 over 6m22s)   kubelet            Back-off pulling image "public-repository/prdsl/nacos-server:2.0.2"Normal   Pulling         4m53s (x4 over 6m24s)  kubelet            Pulling image "public-repository/prdsl/nacos-server:2.0.2"Warning  Failed          75s (x23 over 6m22s)   kubelet            Error: ImagePullBackOff

2. 原因分析 没有配置私有镜像仓库的拉取密钥

imagePullSecrets:

- name: '${parameters.imagePullSecrets}'

加上这个即可。

查看密钥

kubectl get secret

magePullSecret资源将Secret提供的密码传递给kubelet从而在拉取镜像前完成必要的认证过程，简单说就是你的镜像仓库是私有的，每次拉取是需要认证的。

配置说明

创建docker-registry类型的Secret对象，并在定义pod资源时明确通过"imagePullSecrets"字段来申明使用哪个私钥去认证；

创建docker-registry类型的Secret对象，然后把它添加到某个ServiceAccount对象中，使用了这个ServiceAccount对象创建出来的pod就自然而然通过认证获取到镜像；