Docker容器内运行的Airflow访问主机Windows网络资源问题求助

核心思路 #

既要让容器穿透公司防火墙访问内网资源，又要保证Airflow各组件（webserver、scheduler、worker等）正常通信，关键是平衡网络栈复用和容器间连通性的需求，以下是三种可行方案：

方案1：Host网络+明确组件通信地址 #

如果必须复用主机网络栈访问内网，需避免Airflow组件绑定到容器本地的localhost：

• 修改airflow.cfg配置：
  • 将web_server_host设为0.0.0.0或主机内网IP
  • 将scheduler_hostname、worker_hostname设为主机内网IP（或0.0.0.0）
• 启动容器时使用--network host，确保Airflow默认端口（8080、5555、8793等）未被主机占用
• 验证：在任意容器内执行curl http://<主机内网IP>:8080，能访问webserver则说明容器间通信正常

方案2：自定义桥接网络+DNS/代理配置 #

通过自定义桥接网络隔离容器，同时配置内网访问规则：

1. 创建自定义桥接网络（避免和公司内网网段冲突）：

   docker network create --driver bridge --subnet 192.168.100.0/24 --gateway 192.168.100.1 airflow-net
   

2. 启动容器时加入该网络并指定固定IP：

   docker run -d --name airflow-webserver --network airflow-net --ip 192.168.100.10 apache/airflow:latest webserver
   docker run -d --name airflow-scheduler --network airflow-net --ip 192.168.100.11 apache/airflow:latest scheduler
   

3. 配置内网访问：
   • 启动容器时添加公司内网DNS：--dns <内网DNS服务器IP>
   • 若需代理，设置环境变量：

     docker run -d --name airflow-webserver --network airflow-net -e HTTP_PROXY=http://<公司代理IP>:<端口> -e HTTPS_PROXY=http://<公司代理IP>:<端口> apache/airflow:latest webserver
     

4. 配置Airflow组件通信：在airflow.cfg中指定各组件的固定IP（如scheduler_hostname=192.168.100.11）

方案3：Macvlan网络（获取内网独立IP） #

如果公司防火墙允许容器分配内网IP，可使用macvlan让容器直接接入内网：

1. 创建macvlan网络，绑定主机物理网卡（如eth0）：

   docker network create -d macvlan --subnet <公司内网网段>/24 --gateway <内网网关> -o parent=eth0 airflow-macvlan
   

2. 启动容器时加入该网络并指定内网IP：

   docker run -d --name airflow-webserver --network airflow-macvlan --ip <分配的内网IP> apache/airflow:latest webserver
   

3. 此时容器拥有独立内网IP，可直接访问防火墙内资源，Airflow组件间通过内网IP通信即可

验证步骤 #

1. 内网访问测试：在容器内执行ping <内网服务器IP>或curl <内网服务地址>，确认连通
2. 容器间通信测试：在webserver容器内执行curl http://<scheduler容器IP>:8793，确认返回正常响应
3. Airflow功能测试：提交测试DAG，检查调度、执行流程是否正常

内容的提问来源于stack exchange，提问作者Y G