摘要：使用相同网桥的容器有自己的子网，并且可以相互通信默认情况下。在虚拟接口上来自主机的流量捕获将显示容器在特定子网上发送的所有流量规则用于阻止不同的网络有时网络中的主机使用过滤器表进行通信。
我使用docker至今已有一段时间了，与绝大部分的人一样，我被docker强大的功能和易用性深深的折服。简单方便是docker的核心之一，它强大的功能被抽象成了非常简单的命令。当我在使用和学习docker的时候，我很想知道docker在后台都做了一些什么事情，特别是在网络这一块（我最感兴趣的一块）
我找到了很多关于创建和操作容器网络的文档，但是关于docker如何使网络工作的却没有那么多。 Docker广泛使用linux iptables和网桥接口，这篇文章是我如何用于创建容器网络的总结，大部分信息来自github上的讨论，演示文稿，以及我自己的测试。文章结尾我会给出我认为非常有用的资料链接。
我写这篇文章使用的是docker 1.12.3,但这不是作为对docker网络的全面描述，也不作为docker网络的介绍。我只希望这篇文章能给大家开拓视野，也非常感谢所有对文章错误，缺失的反馈和批评。
Docker网络概览Docker的网络建立在允许任何一方编写自己的网络驱动程序的容器网络模型（CNM）之上。这允许不同的网络类型可用于在docker引擎上运行的容器，并且容器可以同时连接到多个网络。除了各种第三方网络驱动程序可用，docker自带四个内置网络驱动程序：
Bridge: 这是启动容器的默认网络。通过docker主机上的网桥接口实现连接。 使用相同网桥的容器有自己的子网，并且可以相互通信（默认情况下）。
Host:这个驱动程序允许容器访问docker主机自己的网络空间（容器将看到和使用与docker主机相同的接口）。
Macvlan:此驱动程序允许容器直接访问主机的接口或子接口（vlan）。 它还允许中继链接。
Overlay：此驱动程序允许在运行docker的多个主机（通常是docker群集群）上构建网络。 容器还具有自己的子网和网络地址，并且可以直接相互通信，即使它们在不同的物理主机上运行。
Bridge和Overlay可能是最常用的网络驱动程序，在本文和下一篇文章中我将主要关注这两个驱动程序。
Docker Bridge 网络在docker主机上运行的容器的默认网络是。 Docker在首次安装时创建一个名为“bridge”的默认网络。 我们可以列出所有docker网络来查看此网络 docker network ls：
$ docker network ls NETWORK ID NAME DRIVER SCOPE 3e8110efa04a bridge bridge local bb3cd79b9236 docker_gwbridge bridge local 22849c4d1c3a host host local 3kuba8yq3c27 ingress overlay swarm ecbd1c6c193a none null local
要检查其属性，运行docker network inspect bridge
$ docker network inspect bridge
[
{
"Name": "bridge",
"Id": "3e8110efa04a1eb0923d863af719abf5eac871dbac4ae74f133894b8df4b9f5f",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.18.0.0/16",
"Gateway": "172.18.0.1"
}
]
},
"Internal": false,
"Containers": {},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
你还可以使用docker network create命令并指定选项--driver bridge创建自己的网络，例如
docker network create --driver bridge --subnet 192.168.100.0/24 --ip-range 192.168.100.0/ 24 my-bridge-network创建另一个网桥网络，名称为“my-bridge-network”，子网为192.168.100.0/24。
docker创建的每个网桥网络由docker主机上的网桥接口呈现。、 默认桥网络“bridge”通常具有与其相关联的接口docker0，并且使用docker network create命令创建的每个后续网桥网络将具有与其相关联的新接口。
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:44:88:bd:75
inet addr:172.18.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
要找到与你创建的docker网络关联的linux接口，可以使用ifconfig列出所有接口，然后找到你指定了子网的接口，例如，我们想查看我们之前创建的网桥接口my-bridge-network 我们可以这样：
$ ifconfig | grep 192.168.100. -B 1
br-e6bc7d6b75f3 Link encap:Ethernet HWaddr 02:42:bc:f1:91:09
inet addr:192.168.100.1 Bcast:0.0.0.0 Mask:255.255.255.0
linux桥接接口与交换机的功能类似，因为它们将不同的接口连接到同一子网，并根据MAC地址转发流量。 我们将在下面看到，连接到网桥网络的每个容器将在docker主机上创建自己的虚拟接口，并且docker引擎将同一网络中的所有容器连接到同一个网桥接口，这将允许它们与彼此进行通信。 您可以使用brctl获取有关网桥状态的更多详细信息。
$ brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
一旦我们有容器运行并连接到这个网络，我们将看到interfaces列下面列出的每个容器的接口。 并且在桥接器接口上运行流量捕获将允许我们看到同一子网上的容器之间的相互通信。
Linux 虚拟网络接口(veth)容器网络模型（CNM）允许每个容器具有其自己的网络空间。 从容器内部运行ifconfig将显示容器内部的网络接口：
$ docker run -ti ubuntu:14.04 /bin/bash
root@6622112b507c:/#
root@6622112b507c:/# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:ac:12:00:02
inet addr:172.18.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe12:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:9 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:766 (766.0 B) TX bytes:508 (508.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
然而，上面看到的eth0只能从那个容器中可用，而在Docker主机的外部，docker会创建一个与其对应的双虚拟接口，并作为到容器外的链接。 这些虚拟接口连接到上面讨论的桥接器接口，以便于在同一子网上的不同容器之间的连接。
我们可以通过启动连接到默认网桥的两个容器来查看此过程，然后查看docker主机上的接口配置。
在运行启动任何容器之前，docker0 桥接接口没有连接的接口：
$ sudo brctl show docker0 $ sudo brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
然后我从ubuntu:14.04 镜像启动2个容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a754719db594 ubuntu:14.04 "/bin/bash" 5 seconds ago Up 4 seconds zen_kalam 976041ec420f ubuntu:14.04 "/bin/bash" 7 seconds ago Up 5 seconds stupefied_easley
您能马上看到现在有两个接口连接到docker0网桥接口（每个容器一个）
$ sudo brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02424488bd75 no veth2177159
vethd8e05dd
从其中一个容器ping到google，然后从docker主机对容器的虚拟接口进行流量捕获，将显示容器流量
$ docker exec a754719db594 ping google.com PING google.com (216.58.217.110) 56(84) bytes of data. 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=1 ttl=48 time=0.849 ms 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=2 ttl=48 time=0.965 ms ubuntu@swarm02:~$ sudo tcpdump -i veth2177159 icmp tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on veth2177159, link-type EN10MB (Ethernet), capture size 262144 bytes 20:47:12.170815 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 55, length 64 20:47:12.171654 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 55, length 64 20:47:13.170821 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 56, length 64 20:47:13.171694 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 56, length 64
同样，我们可以从一个容器平到另一个容器。
首先，我们需要获取容器的IP地址，这可以通过在容器中运行ifconfig或使用docker inspect命令检查容器来完成：
$ docker inspect -f "{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}" a754719db594
172.18.0.3
然后我们从一个容器ping另一个容器
$ docker exec 976041ec420f ping 172.18.0.3 PING 172.18.0.3 (172.18.0.3) 56(84) bytes of data. 64 bytes from 172.18.0.3: icmp_seq=1 ttl=64 time=0.070 ms 64 bytes from 172.18.0.3: icmp_seq=2 ttl=64 time=0.053 ms
要从docker主机看到这个流量，我们可以在对应于容器的任何一个虚拟接口上捕获，或者我们可以在桥接口（在这个实例中为docker0）上捕获，显示所有的容器间通信子网：
$ sudo tcpdump -ni docker0 host 172.18.0.2 and host 172.18.0.3 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes 20:55:37.990831 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 200, length 64 20:55:37.990865 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 200, length 64 20:55:38.990828 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 201, length 64 20:55:38.990866 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 201, length 64
没有直接的方法来找到docker主机上的哪个veth接口链接到容器内的接口，但是在各种docker论坛和github中讨论了几种方法。在我看来最简单的是以下（基于这个解决方案做了稍微的修改），这也取决于ethtool在容器中可访问
例如：我的系统上运行了3个容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES ccbf97c72bf5 ubuntu:14.04 "/bin/bash" 3 seconds ago Up 3 seconds admiring_torvalds 77d9f02d61f2 ubuntu:14.04 "/bin/bash" 4 seconds ago Up 4 seconds goofy_borg 19743c0ddf24 ubuntu:14.04 "/bin/sh" 8 minutes ago Up 8 minutes high_engelbart
首先我运行如下命令来获得peer_ifindex 号
$ docker exec 77d9f02d61f2 sudo ethtool -S eth0
NIC statistics:
peer_ifindex: 16
然后在docker主机上，通过peer_ifindex 找到接口名称
