从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）

1 Kubernetes简介（k8s）

传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配计算资源，而且程序之间容易产生影响；

容器化部署：运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦, 带来很多便利，但是也会出现一些问题，比如说：

• 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
• 当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件,目前k8s的时长占有率是最高的，本文参考尚硅谷教程记录了k8s一主一从简单集群环境的搭建过程，及实践过程中遇到的问题解决办法。

这里环境搭建是通过kubeadm 部署方式，kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes 集群的部署：

• 创建一个Master 节点kubeadm init
• 将Node 节点加入到当前集群中$ kubeadm join <Master 节点的IP 和端口>

2 安装实战

用到的主机是2台Linux系统，均内置Centos 7操作系统，准备好系统后我们在来从零开始安装docker、k8s三大组件-kubeadm/kubelet/kubectl程序。

2.1 主机安装并初始化

大家都装过CentOS虚拟机吧，默认过程不详述了，我装的是CentOS 7,安装的时候打开了网卡，因为安装过程中需要访问外网拉取镜像，硬盘设置为30GB 或更多。
这里有个坑，后面集群初始化的时候报错：
the number of available CPUs 1 is less than the required 2 也就是说硬件配置必须要有2个或更多CPU,建议还是用实体机测试吧
记录系统初始化步骤之前看一个小知识点，就是使用MobaXterm工具操作Linux系统的时候，工具栏有个MultiExec工具可以同时打开多个窗口同时执行某个命令或者粘贴命令行执行，这样我们就不用反复切换三台机器执行同样的代码了，部署集群环境又简单了一步，多窗口样子如下图：

1. 设置主机名解析

   为了方便后面集群节点间的直接调用，在这配置一下主机名解析，企业中通常会有内部DNS服务器做解析。两台机器同时执行以下命令：

cat <<EOF>> /etc/hosts
192.168.177.132     master
192.168.177.133     node1
EOF

2. 时间同步（两台机器同时执行）
   • kubernetes要求集群中的节点时间必须精确一致，这里有两个方案，一个是直接使用chronyd服务从网络同步时间

# 启动chronyd服务
systemctl start chronyd
# 设置chronyd服务开机自启
systemctl enable chronyd
# chronyd服务启动稍等几秒钟，就可以用date命令验证时间了
date

• 另一种时间同步方式

#设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

3. 禁用iptables和firewalld服务（两台机器同时执行）
   kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则
   
4. 禁用selinux（两台机器同时执行）
   selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种奇葩问题
   
5. 禁用swap分区（两台机器同时执行）
   kubernetes要求每个节点都要禁用swap设备

#编辑分区配置文件/etc/fstab，注释掉swap分区一行
注意修改完毕之后需要重启linux服务
vim /etc/fstab
注释掉 /dev/mapper/centos-swap swap
#/dev/mapper/centos-swap swap

4. 修改linux的内核参数（两台机器同时执行）

# 修改linux的内核采纳数，添加网桥过滤和地址转发功能
# 编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1# 重新加载配置
[root@master ~]# sysctl -p
# 加载网桥过滤模块
[root@master ~]# modprobe br_netfilter
# 查看网桥过滤模块是否加载成功
[root@master ~]# lsmod | grep br_netfilter

5. 配置ipvs功能（两台机器同时执行）

# 1.安装ipset和ipvsadm
[root@master ~]# yum install ipset ipvsadmin -y
# 2.添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 3.为脚本添加执行权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
# 4.执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
# 5.查看对应的模块是否加载成功
[root@master ~]# lsmod | grep -e -ip_vs -e nf_conntrack_ipv4
nf_conntrack_ipv4      15053  10 
nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
nf_conntrack          133095  10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6

2.2 安装docker

（两台机器同时执行）

# 1、切换镜像源,wget命令找不到的话就 yum -y install wget
[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d.docker-ce.repo# 2、查看当前镜像源中支持的docker版本,我这里报错了，需要先cd到/etc/yum.repos.d/文件夹
[root@master ~]# yum list docker-ce --showduplicates# 3、安装特定版本的docker-ce
# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本
[root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y# 4、添加一个配置文件
#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
[root@master ~]# mkdir /etc/docker
[root@master ~]# cat <<EOF> /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"],"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF
# 5、启动dokcer
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker

上面我执行第2部分查看当前镜像源中支持的docker版本时报错如下，没匹配到软件包，需要cd到/etc/yum.repos.d/文件夹下面就ok了

2.3 安装Kubernetes组件

（两台机器同时执行）

# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
# 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
[root@k8s-node1 ~]# yum makecache
# 3、安装kubeadm、kubelet和kubectl
[root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y# 4、配置kubelet的cgroup
#编辑/etc/sysconfig/kubelet, 添加下面的配置
cat <<EOF > /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF
# 5、设置kubelet开机自启
[root@master ~]# systemctl enable --now kubelet

2.4 准备集群镜像

（两台机器同时执行）

# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看
[root@master ~]# kubeadm config images list
# 下载镜像
# 此镜像kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替换方案，直接执行
images=(kube-apiserver:v1.17.4kube-controller-manager:v1.17.4kube-scheduler:v1.17.4kube-proxy:v1.17.4pause:3.1etcd:3.4.3-0coredns:1.6.5
)
for imageName in ${images[@]};dodocker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamedocker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageNamedocker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName 
done

2.5 集群初始化

下面的操作只需要在master节点上执行即可

# 创建集群,注意192.168.177.132是master节点的ip
[root@master ~]# kubeadm init --apiserver-advertise-address=192.168.177.132 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.17.4 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
# 创建必要文件
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

下面的操作只需要在node节点上执行即可

#kubeadm join命令在master执行完上面的初始化后进行提示,注意保存，后面会使用该命令让node节点加入k8s集群
kubeadm join 192.168.177.132:6443 --token awk15p.t6bamck54w69u4s8 \--discovery-token-ca-cert-hash sha256:a94fa09562466d32d29523ab6cff122186f1127599fa4dcd5fa0152694f17117

此时，通过kubectl get nodes命令查看主从节点都是NotReady状态

2.6 安装flannel网络插件

只在master节点操作即可,需要下载kube-flannel.yml配置文件，外网不好下载，可以直接生成/root/kube-flannel.yml文件，内容如下：

https://github.com/flannel-io/flannel/tree/master/Documentation/kube-flannel.yml

[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannelv014 quay.io/coreos/flannel:v0.14.0
[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12 rancher/flannel-cni-plugin:v1.2
[root@k8s-master1 ~]# kubectl apply -f kube-flannel.yml 
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created
[root@k8s-master1 ~]# kubectl get nodes
NAME       STATUS   ROLES                  AGE   VERSION
master      Ready    control-plane,master   50m   v1.22.4
node1       Ready    <none>                 44m   v1.22.4

此时，通过kubectl get nodes命令查看主从节点都是Ready状态

3 部署nginx 测试

3.1 创建一个nginx服务

[root@k8s-master1 ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created

3.2 暴漏端口

[root@k8s-master1 ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed

3.3 查看服务

[root@k8s-master1 ~]# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-6799fc88d8-ldpw2   1/1     Running   0          31sNAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   172.16.0.1      <none>        443/TCP        56m
service/nginx        NodePort    172.16.172.68   <none>        80:32550/TCP   14s

3.4 测试服务