手动搭建K8S环境
手动搭建K8S环境
| 主机名 | ip | 系统版本 |
|---|---|---|
| k8s-master | 172.16.200.70 | Centos7 |
| k8s-node1 | 172.16.200.71 | Centos7 |
| k8s-node2 | 172.16.200.72 | Centos7 |
前期准备好三台Centos7机器，均配置如下：
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 永久关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
# 永久关闭swap
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 修改/etc/hosts
172.16.200.70 k8s-master
172.16.200.71 k8s-node1
172.16.200.72 k8s-node2
在三台机器上均安装docker、kubeadm、kubelet，在master节点安装kubectl
配置阿里云的K8s源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装docker就不赘述了。
执行如下命令安装kubelet、kubeadm和kubectl
#安装kubelet、kubeadm和kubectl
yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0
#设置kubelet开机自启
systemctl enable kubelet
部署K8S-master
在master节点执行如下命令初始化master
kubeadm init --apiserver-advertise-address=172.16.200.70 --image-repository=registry.aliyuncs.com/google_containers --kubernetes-version v1.23.0 --service-cidr=10.10.10.0/24 --pod-network-cidr=10.20.20.0/24 --ignore-preflight-errors=all
然后拷贝k8s认证文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
这里记住kubeadm join这条命令，在node节点执行这条命令加入集群。
部署K8S-node
这里在两个node节点执行如下命令即可加入K8S集群
kubeadm join 172.16.200.70:6443 --token y05mrn.y5yz5g0zvjyanos5 --discovery-token-ca-cert-hash sha256:683c265dcc24cdf2f1a677f0bd38236326514d4270d2d62b602912bf8f70c22e
默认token的有效期为24小时，过了24小时之后，该token就不可用了。这时就需要重新创建token，可以在master节点直接如下命令生成：
kubeadm token create --print-join-command
部署网络
Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。
wget https://docs.projectcalico.org/v3.19/manifests/calico.yaml --no-check-certificate
wget https://docs.projectcalico.org/manifests/calico.yaml --no-check-certificate
下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与之前kubeadm init的 --pod-network-cidr指定的一样。
默认calico.yaml中所使用的镜像都来源于docker.io国外镜像源，这里我们可以删除docker.io前缀以使镜像从国内镜像加速站点下载。
cat calico.yaml |grep 'image:'
sed -i 's#docker.io/##g' calico.yaml
修改完后文件后，进行部署：
#部署
kubectl apply -f calico.yaml
#查看状态，执行完上一条命令需要等一会才全部running
kubectl get pods -n kube-system
报错解决
如果在部署calico.yaml文件的时候碰到如下错误，则是因为calico版本与k8s版本不匹配导致的，可以参考https://projectcalico.docs.tigera.io/archive/v3.23/getting-started/kubernetes/requirements找到对应版本的calico。
查看pods的状态，可以看到calico的是Init:ImagePullBackOff
直接去网站进行下载：https://github.com/projectcalico/calico/releases
下载完成后解压，image文件夹下为docker镜像文件，还原
docker load < xx.tar
重新部署
#移除
kubectl delete -f calico.yml
#部署
kubectl apply -f calico.yaml
部署Dashboard
Dashboard是官方提供的一个Web UI，可用于基本管理K8s资源，执行如下命令下载yaml文件。默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml
修改如下，nodePort的端口范围为30000-32767，并且添加type：NodePort
执行如下命令应用
kubectl apply -f recommended.yaml
在master节点创建service account并绑定默认cluster-admin管理员集群角色
# 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
使用输出的token登录Dashboard。
eyJhbGciOiJSUzI1NiIsImtpZCI6IjNpbzFJbTg4UjlpcjFBdS1rb1J3NzFtY3BETlhtVkQ3S0hXZWwwU0MwN1UifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tYzdzcHAiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiZjAyMTE1OWMtZjcyMC00YTZlLWFiY2MtYzIzYWRhZjBiZjk5Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.aD_ZtS0domXxtWz-2BaGmZebJMqoNvWqHgJ4K7kQ9eir5JvIqTsrxM14dNrUrEFRZC2hw6Gn_xz7Nezy81XPU64HHcbGiNvNU8-K7OwvTWwTOpDBRPho1CaxJsKBrlQwoNf1pzoShqO-JdL4kVfJUmKthjUqv8QduwVzEkCWeTXgcHOoPnsOaJSXJzwanAC4e5pIovcjMGQJU4W87T8uVW4bdO4w48c-101-mMYHMouKVRxF8OOTuGHFXUDpYCKAOvfA73gtwoyi_4wiSqS7NSZZTGwFfppUYDomjoA3FUFubZ2xLoc8fN2GoFzzTcylxFHTCfupJM2nUVs9vxQbJw
https://master ip 或 node ip:31000 均可
https://172.16.200.70:31000/
https://172.16.200.71:31000/
https://172.16.200.72:31000/
报错解决
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.
这是因为Docker和 kubelet 服务中的 cgroup 驱动不一致导致的，有两种方法解决：
- 方式一：驱动向 docker 看齐
- 方式二：驱动为向 kubelet 看齐
这里使用方式二，驱动向kubelet 看齐。首先查看kubelet的驱动，可以看到为systemd。
修改/etc/docker/daemon.json 文件，将其驱动也配置为systemd，然后启动docker即可。
{
"exec-opts": [
"native.cgroupdriver=systemd"
],
"registry-mirrors": [
"http://docker-registry-mirror.kodekloud.com"
]
}
参考：https://blog.csdn.net/tiny_du/article/details/123823093