K8s中的CNI网络模型
K8s中的CNI网络模型
1. 网络模型
1.1 CNM
容器中的网络模型早年有CNM(Container Network Model, 容器网络模型) ,是一个由Docker提出的规范。
CNM中有代表性的就是Libnetwork,在Docker daemon和网络驱动之间提供接口,网络控制器负责将驱动和网络进行连接。
CNM的问题:
● 容器运行时有不同的插件,运行复杂
● 需要使用分布式存储来保存网络配置模型
● Network Sandbox:容器内部的网络栈,包括网络接口、路由表、DNS 等配置的管理。Sandbox 可用 Linux 网络命名空间、FreeBSD Jail 等机制进行实现。一个 Sandbox 可以包含多个 Endpoint。
● Endpoint:用于将容器内的 Sandbox 与外部网络相连的网络接口。可以使用 vethpair、Open vSwitch 的内部 port 等技术进行实现。一个 Endpoint 仅能够加入一个 Network。
● Network:可以直接互连的 Endpoint 的集合。可以通过 Linux bridge、VLAN 等技术进行实现。一个 Network 包含多个 Endpoint。
1.2 CNI
相比起CNM,CNI不需要通过分布式存储系统来存放网络配置信息,而只需要使用json。
● Loopback:lo设备
● Bridge:网桥
● IPVlan:创建VLAN,共享MAC地址,但IP地址不同
● PTP:veth Pair设备
CNI中有两个命令ADD和DEL,分别是添加和一处网络接口。这两个接口在容器创建时使用
CNI中的三类插件
其中Main是用来创建具体网络的二进制文件;Meta不是独立的插件,需要调用其他插件;IPAM是IP Address Manage的缩写,是用来分配容器中IP地址的二进制文件。
2. CNI的使用
2.1 CNI的配置
CNI插件的配置通过在./etc/cni/net.d中放置配置文件配置。下图是通过这种方式配置的flannel和portmap插件。
需要注意的是,K8s不支持多个CNI插件混用。如果在文件夹下放置了多个CNI插件配置文件,只会显示第一个。
2.2 CNI插件加载原理
插件配置的实质是加载项目脚本,生成二进制文件。CNI插件的生效简而言之便是:Container Runtime在创建容器进程前,先创建一个NetWork Namespace,使用CNI插件对这个NS进行网络配置,配置完成后再启动容器进程。
/pkg/kubelet/kubelet.go中的PreInitRuntimeService(),先会读取CNI配置,然后启动一个gRPC监听client,当有容器时间发生时便会创建Pod
之后进行Pod的创建,然后通过CNI接口建立容器网络。cni.go中的SetUpPod被调用便可在容器创建时进行网络配置
需要注意的是。在v1.20以前的K8s中,容器运行时是通过docker_shim创建的。但是在v1.24中,docker_shim已经被废弃了。随之而来的就是K8s不再支持对CNI插件的管理。但可以通过使用Containered部署K8s集群。
K8s v1.24中已经没有了docker_shim