本篇文章我们将讲解跨主机网络的容器通信实现,涉及到Docker overlay网络与MacVlan网络的解决方案,下面我们就一起来学习吧!
01 Docker跨主机网络通信
跨主机的容器网络方案主要有如下几种:
1)docker原生方案macvlan与overlay网络
2)第三方方案如flannel、calico、contiv等
本章节我们主要介绍容器的原生网络方案,因为每一个第三方的方案都可以用一篇文章进行讲解,如果读者们对第三方方案感兴趣请在文章下面留言,小编会结合读者们的需求进行讲解。
02 容器网络模型与网络库
容器之所以有这么多的网络解决方案,全依仗着容器的优秀架构设计。docker通过libnetwork网络库与CNM网络模型将众多的网段方案与docker进行集成。libnetwork是网络网络库其最核心作用是定义了容器网络模型(CNM),该网络模型主要由三个组件构成具体如下:
1)Sandbox
Sandbox是容器网络栈,Sandbox通过linux namespace技术实现容器不同网络的隔离。Sandbox可以包含来自不同网络的Endpoint。
2)Endpoint
Endpoint表示容器接入网络的端点,其作用是将Sandbox接入网络。Endpoint只能属于一个网络同时也只能属于一个Sandbox。
3)Network
代表一组可以直接相互通信的Endpoint集合,可以基于LinuxBridge或者VLAN实现。
如上图是典型的Docker CNM模型图,每个容器一个Sandbox,Sandbox通过Endpoint与Netwrok互连,其中Endpoint就是由linux的veth pair实现的,一端连接linux bridge上一端挂载在容器内(如eth0网卡),正由于有了该规范模型,只要网络插件符合该模型就可以与docker daemon进行协同工作,从而实现容器网络。
03 Docker overlay网络
Docker原生就提供了Overlay网络driver,使用该驱动可以创建基于Vxlan的Overlay网络。Vxlan网络可将二层的数据封装到UDP报文中进行传输,从而实现了通过三层网络透传二层数据报文,VXLAN协议是目前使用比较广的一个网络协议,由于本篇文章的重点不在该协议如果大家感兴趣可以文章后面留言,若有需求我们会在后面单独出一篇文章来写Vxlan。
Docker Overlay网络需要一个key-value的数据库用于保存网络状态信息包括network、Endpoint、IP等。consul、etcd及zookeeper都是docker支持的key-value存储的软件。
我们先来看看我们overlay的实验环境拓扑,本次实验我们使用consul作为key-value存储软件。
现在我们来看看怎么搭建这个实验吧
1)首先我们将两台主机的docker.service文件的ExecStart=命令后增加指向consul的配置参数,具体操作如下(本次实验是两台centos7.5系统的主机)
增加好配置参数后,我们重启docker服务具体命令如下
- 1. # 重启docker服务
- 2. systemctl daemon-reload && systemctl restart docker
2)接着我们安装consul软件,我们将其部署在172.17.0.3这台主机上,以容器方式进行部署,容器的网络使用host,这样可以将该软件所有启动的网络接口都在主机上进行暴露,具体操作命令如下
- 1. # 启动consul容器
- 2. docker run -d --network host -h consul --name=consul \
- 3. --restart=always -e CONSUL_BIND_INTERFACE=eth0 consul:1.5.2
consul启动完我们查看它所启动的接口
我们在浏览器输入其地址端口号8500即可登录consul的页面具体如下
其实这时我们点击key/value菜单就可以查看我们注册到consul的两台主机了
3)现在我们在host1的主机上创建overlay网络具体操作如下
- 1. # 创建容器overlay网络ov_net1
- 2. docker network create -d overlay ov_net1
其实当你在host1主机上创建好ov_net1的网络consul会自动将该网络信息同步至host2主机上,我们再host2主机进行验证一下
4)我们在主机host1上创建容器test1,同时网络设置为ov_net1,具体操作如下
- 1. # 创建容器test1,并将网络指定为ov_net1
- 2. docker run -itd --name test1 --hostname test1 --network ov_net1 busybox
其实在我们创建容器test1后,docker会自动创建一个docker_gwbridge的bridge网络,该网络用于我们上图所说的eth1网卡,从而能够让容器能够访问外部网络
我们再看一下test1容器的路由信息,可以发现其默认路由直接指向了eth1接口,同时ping外网也确实能够ping通
5)最后我们在host2主机上创建test2容器,也指定其网络为ov_net1,然后验证test1与test2是否能够互访
如上图我们在host2主机上成功创建了test2容器,同时其也自动配置了两个网卡接口一个用于连接overlay网络一个用于连接外部网络。现在我们测试一下test2容器是否能够ping通test1容器,具体操作如下
测试发现test2容器确实可以ping通test1容器,同时还实现了DNS功能,主动把test1容器的名称映射其对应的IP 10.0.0.2。
下面我们来看看overlay网络能够连通的具体逻辑,docker会为每个overlay网络创建一个独立的namespace,在namespace中会创建一个br0的网桥,其上有两组endpoint,一组endpoint的一端连br0一端连容器的eth0口,另外一组endponit的一端连br0另外一段连vxlan接口,该接口用于主机间建立vxlan tunnel,不同主机上的容器就是通过该tunnel进行通信的,具体架构图如下:
04 Docker MacVlan网络
Macvlan其实是linux系统自带技术允许你在物理网卡上创建子接口,创建的这些子接口每个都有自己的唯一MAC地址,同时你也可以在这些子接口上配置IP,然后可以将应用程序、虚机及容器绑定到指定的子接口,从而实现自己的MAC与IP直接连接到物理网络,Macvlan的最大优点是性能比较好,缺点是许多nic对mac地址数量有限制。Macvlan具体架构具体如下图:
由于Macvlan在生产环境中部署较少,我们本篇文章就不做实验进行演示了,我们在这展示一下其创建的具体命令,感兴趣的可以按照下面命令自己来搭环境测试。
1. # 创建macvlan网络mv_net1,其中parent=eth0是指定macvlan网络使用的接口
2. docker network create -d macvlan -o parent=eth0 mv_net1
3. # 创建容器test3指定其网络为mv_net1的macvlan网络
4. docker run -d --name test3 --network mv_net1 busybox