搭建k8s集群实战（一）系统设置
1、架构及服务
Kubernetes作为容器集群系统，通过健康检查+重启策略实现了Pod故障自我修复能力，通过调度算法实现将Pod分布式部署，并保持预期副本数，根据Node失效状态自动在其他Node拉起Pod，实现了应用层的高可用性。
针对Kubernetes集群，高可用性还应包含以下两个层面的考虑：Etcd数据库的高可用性和Kubernetes Master组件的高可用性。
Master节点扮演着总控中心的角色，通过不断与工作节点上的Kubelet进行通信来维护整个集群的健康工作状态。如果Master节点故障，将无法使用kubectl工具或者API做任何集群管理。
Master节点主要有三个服务kube-apiserver、kube-controller-mansger和kube-scheduler，其中kube-controller-mansger和kube-scheduler组件自身通过选择机制已经实现了高可用，所以Master高可用主要针对kube-apiserver组件，而该组件是以HTTP API提供服务，因此对他高可用与Web服务器类似，增加负载均衡器对其负载均衡即可，并且可水平扩容。
2、组件说明
APIserver:所有服务访问统一入口
controllerManager：维护副本的期望数目
scheduler：负责介绍任务，选择合适节点接受任务
ETCD：键值对数据库，存储K8S集群重要信息（持久化）
Kubectl :实现容器生命周期管理
Kubectl proxy:写入规则至ipvs
Coredns：可以为集群中的SVC创建一个A记录
Dashboard：B/S结构的访问体系
Ingress:官方实现的是4层代理，ingress实现的是7层代理（域名，主机名）
Federation：跨K8S集群调用
3、IP地址规划
高可用K8S集群为避免脑裂一般采用如三、五、七等奇数个mater节点，首先要有一个 master 节点，可以先将单一节点集群构建完毕，然后再让其他服务器加入组成三个master 节点高可用，然后再以工作节点 Node 加入。此文档为全新构建。
| 地址 | 主机名 | 内存&CPU | 角色 |
|---|---|---|---|
| 10.208.1.190 | —— | —— | vip |
| 10.208.1.191 | k8s-master-01 | 2C & 4G | Master01 |
| 10.208.1.192 | k8s-master-02 | 2C & 4G | Master02 |
| 10.208.1.195 | k8s-master-03 | 2C & 4G | Master03 |
| 10.208.1.196 | k8s-node-01 | 2c & 4G | Node01 |
| 10.208.1.198 | k8s-node-02 | 2c & 4G | Node02 |
# 都开通直通上网，方便拉去镜像。
4、操作系统内核版本
#cat /etc/redhat-release
CentOS Stream release 8
5、修改hosts【所有节点】
必须配置，否则结点与master无法通讯
#cat >> /etc/hosts << EOF
10.208.1.190 master.k8s.io k8s-vip
EOF
6、修改hostname【各节点依次操作】
修改 10.208.1.191 服务器
#hostnamectl set-hostname k8s-master-01
修改 10.208.1.192 服务器
#hostnamectl set-hostname k8s-master-02
修改 10.208.1.195 服务器
#hostnamectl set-hostname k8s-master-03
修改 10.208.1.196 服务器
#hostnamectl set-hostname k8s-node-01
修改 10.208.1.198 服务器
#hostnamectl set-hostname k8s-node-02
7、关闭防火墙和selinux【所有节点】
systemctl stop firewalld && systemctl disable firewalld
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config && setenforce 0
#注意以上语句的空格，复制到记事本粘贴，/etc前面有空格
8、关闭swap【所有节点】【必须】
swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
9、设置系统【所有节点】
（1）针对于linux7以上，设置允许路由转发，不对bridge的数据进行处理
创建 /etc/sysctl.d/k8s.conf 文件
vim /etc/sysctl.d/k8s.conf
加入下面内容:
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
（2）挂载br_nebrtfilter
modprobe br_netfilter
持久化：
echo "br_netfilter" >> /etc/modules-load.d/modules.conf
（3）生效配置文件
sysctl -p /etc/sysctl.d/k8s.conf
sysctl命令：用于运行时配置内核参数
查看是否生成相关文件
ls /proc/sys/net/bridge
（4）资源配置文件
/etc/security/limits.conf 是 Linux 资源使用配置文件，用来限制用户对系统资源的使用,末尾加入
echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf
echo "* soft nproc 65536" >> /etc/security/limits.conf
echo "* hard nproc 65536" >> /etc/security/limits.conf
echo "* soft memlock unlimited" >> /etc/security/limits.conf
echo "* hard memlock unlimited" >> /etc/security/limits.conf