VMware ESXi上Ubuntu 20.4 VM的Docker多VLAN网络配置方案问询
适配你场景的低复杂度实现方案
你之前采用双静态路由绑定VM双NIC的方案,本质是把VLAN流量的分流逻辑全部交给主机三层路由表处理,很容易碰到默认路由冲突、源地址选路错位、反向路径校验丢包这类问题,根本没必要硬磕复杂的主机路由配置,可以通过二层透传的方式实现分流,操作量和稳定性都会好很多。
核心思路
跳过主机层面的双网关路由逻辑,把不同用途的Docker网络直接和VM上对应VLAN的物理NIC做二层绑定,容器流量直接从所属VLAN对应的NIC出站,全程不经过主机的三层路由判断,从根源上避免路由冲突问题。
具体落地步骤
1. 主机侧基础配置(不配置双默认路由)
- 先通过
ip link show确认两块分属不同VLAN的NIC对应的系统接口名,比如对应3个容器所属VLAN的接口为ens192,对应独立容器所属VLAN的接口为ens224 - 参考VM对应的日常运维网段,只保留运维接口对应的单条默认路由,另一块NIC仅配置同VLAN网段的管理IP,不添加指向该VLAN网关的默认路由
- 开启主机IP转发,同时关闭两块NIC的反向路径校验,避免桥接流量被系统防火墙丢弃:
- 在
/etc/sysctl.conf中添加配置:net.ipv4.ip_forward = 1 net.ipv4.conf.ens192.rp_filter = 0 net.ipv4.conf.ens224.rp_filter = 0 - 执行
sysctl -p让配置生效
- 在
- ESXi侧对应两块NIC绑定的port group,需要把混杂模式、MAC地址更改、伪传输三个安全选项全部设置为允许,否则虚拟交换机会拦截容器透传的流量
2. 创建两个独立的Docker macvlan网络
macvlan驱动天生支持把容器流量直接透传到指定物理NIC,完全不需要主机做三层转发,完美匹配你的分流需求:
- 创建供3个容器使用的网络,绑定第一块VLAN对应的NIC:
docker network create -d macvlan \ --subnet=对应第一组VLAN的网段,如192.168.10.0/24 \ --gateway=对应第一组VLAN的网关,如192.168.10.1 \ -o parent=ens192 \ macvlan_vlan_common - 创建供独立容器使用的网络,绑定第二块独立VLAN对应的NIC:
docker network create -d macvlan \ --subnet=对应独立VLAN的网段,如192.168.20.0/24 \ --gateway=对应独立VLAN的网关,如192.168.20.1 \ -o parent=ens224 \ macvlan_vlan_single
3. 容器接入对应网络即可
- 启动3个需访问内部应用的容器时,直接指定接入
macvlan_vlan_common网络,容器出站流量会直接从ens192对应的port group出站,完全符合第一组VLAN的流量要求 - 启动独立应用对接用的容器时,指定接入
macvlan_vlan_single网络,流量直接从ens224对应的独立VLAN port group出站,不需要额外配置路由规则
方案优势对比
- 没有双静态路由的配置复杂度,不会因为路由优先级、源地址匹配规则出错导致流量串网或者丢包
- 主机本身仅保留单条运维默认路由,不会出现配置错路由导致运维SSH连接中断的问题
- 流量路径是二层透传,比主机三层转发的延迟更低,分流逻辑更可控
注:如果需要主机和同macvlan网络下的容器直接通信,仅需给对应NIC配置一个同网段的macvlan子接口即可,不需要调整其他路由规则。
内容的提问来源于stack exchange,提问作者Vir
相关产品推荐
相关产品推荐

