Docker Compose部署Airflow时谷歌凭证刷新的DNS问题

问题根源分析 #

全局设置容器DNS为8.8.8.8会覆盖Docker默认的内部DNS解析机制，导致Airflow无法通过服务名访问元数据库、Redis等内部依赖，进而引发DAG运行失败、日志无法生成；而不修改DNS的话，容器又无法解析谷歌OAuth服务域名oauth2.googleapis.com，导致凭证刷新失败。

可行解决方案 #

1. 针对特定Airflow服务单独配置多DNS服务器 #

只给需要执行谷歌凭证刷新的服务（比如airflow-worker、airflow-scheduler）配置外部DNS，同时保留Docker内部DNS，确保外部谷歌域名和内部服务都能被解析。

修改docker-compose.yaml中对应服务的配置：

services:
  airflow-worker:
    # 其他原有配置...
    dns:
      - 8.8.8.8       # 用于解析谷歌OAuth域名
      - 1.1.1.1       # 备选外部DNS
      - 127.0.0.11    # Docker默认内部DNS，保证内部服务解析
  airflow-scheduler:
    # 其他原有配置...
    dns:
      - 8.8.8.8
      - 1.1.1.1
      - 127.0.0.11

2. 修改Docker守护进程全局DNS配置 #

如果所有容器都需要同时解析外部和内部域名，可以修改Docker daemon的默认DNS设置，所有容器会继承该配置，且Docker内部DNS仍会优先处理服务名解析。

• 创建/修改Docker daemon配置文件/etc/docker/daemon.json：

{
  "dns": ["8.8.8.8", "1.1.1.1", "127.0.0.11"]
}

• 重启Docker服务：

sudo systemctl restart docker

• 重新启动Airflow容器：

docker-compose down && docker-compose up -d

3. 验证配置有效性 #

进入任意Airflow容器，测试内部服务和外部域名的解析：

# 进入worker容器
docker exec -it <airflow-worker-container-id> /bin/bash

# 测试谷歌域名解析
nslookup oauth2.googleapis.com

# 测试内部服务解析（比如元数据库）
nslookup airflow-postgres

若两个命令都能返回正确IP，说明配置生效。

额外注意事项 #

• 若你的环境有内部DNS服务器，将其IP添加到dns列表中，优先级可根据需求调整。
• 除非本地开发测试，否则避免使用network_mode: host，会破坏容器隔离性，可能引发端口冲突。

内容的提问来源于stack exchange，提问作者lucid_goose