HashiCorp Nomad集群跨主机容器CNI通信配置方案咨询

Hey there, let's work through your cross-host container communication issue in your Nomad cluster with Consul. I’ve dealt with similar frustrations before, so here’s a breakdown of what to check and fix:

先理清楚你的现状 #

You’ve got a 3-node Nomad cluster using Consul for KV and DNS, but:

• Bridge network only works for containers on the same host (expected behavior, so that’s not the fix here)
• Cilium + Netreap assigns unique IPs to containers but they can’t talk across hosts
• Weave Net fails to launch due to Docker API version mismatch
• Your goal: Get containers on different hosts to communicate via their individual container IPs

一、优先排查Cilium + Netreap（毕竟它已经能分配IP了） #

如果Cilium能给容器分配独立IP但跨主机通信失败，问题基本出在集群 peering 或者网络路由上：

• 检查所有节点的防火墙/安全组规则：确保开放Cilium需要的端口：
  • TCP端口 4244（节点间控制平面通信）
  • UDP端口 8472（VXLAN隧道流量，如果你用VXLAN模式）
  • TCP端口 9962（Cilium健康检查）
• 确认Cilium连接到Consul：检查Cilium agent的启动命令是否包含Consul KV存储参数：--kvstore consul://<你的Consul服务器IP>:8500。所有节点必须用同一个Consul端点同步集群状态。
• 查看Cilium节点对等状态：在每个节点上运行 cilium status，查看Cluster部分的Peer数量——3节点集群应该显示2个对等节点。如果没有，说明节点间的VXLAN流量被拦截了，检查主机防火墙或云网络ACL。
• 验证Netreap集成：在每个节点上运行 netreap list，确认它能识别所有Nomad管理的容器。如果容器没被列出，说明Netreap没有正确对接Nomad的容器生命周期。

二、解决Weave Net的Docker API版本不兼容问题 #

如果Weave因为API版本匹配失败无法启动，试试这些方法：

• 匹配Weave和Docker版本：如果你用的是Docker 20.10+，请使用Weave 2.8.x或更高版本（旧版Weave不支持新的Docker API）。
• 强制指定Docker API版本：启动Weave时添加 --docker-api-version 参数，匹配你的Docker环境。比如你的Docker API是1.41，运行：

  weave launch --docker-api-version 1.41 <节点1IP> <节点2IP> <节点3IP>
  

• 使用Nomad原生Weave集成：不要手动启动Weave，而是在Nomad客户端配置中将其配置为CNI插件。这样Nomad会自动处理Weave的启动参数，避免API版本冲突。

三、备选方案：试试Calico（Nomad集群中稳定的跨主机CNI） #

如果Cilium和Weave都卡壳，Calico是个和Consul适配很好的稳定选择：

• 在所有节点安装Calico：配置Calico使用Consul作为KV存储（和你的现有架构对齐）。
• 更新Nomad客户端配置：在client部分启用CNI，并指向Calico的CNI配置文件（通常是/etc/cni/net.d/10-calico.conflist）：

  client {
    cni {
      enabled = true
      config_dir = "/etc/cni/net.d"
    }
  }
  

• 开放必要端口：确保所有节点开放TCP端口179（BGP）和UDP端口4789（VXLAN）。
• 验证集群健康：运行 calicoctl get nodes 确认3个节点都已注册，然后用ping或curl测试跨主机容器通信。

四、基础排查步骤（别跳过！） #

不管用哪个CNI，这些基础检查能帮你快速定位问题：

• 确认所有Nomad节点的主机IP彼此能ping通（如果主机间都不通，CNI也没法工作）。
• 确保所有节点的CNI配置文件完全一致（尤其是集群IP段和隧道模式）。
• 查看日志找线索：
  • Cilium日志：/var/log/cilium/cilium-agent.log
  • Nomad客户端日志：/var/log/nomad/client.log
  • Weave日志：weave logs

备注：内容来源于stack exchange，提问作者kunal ghosh