Docker部署Airflow连接localhost Postgres数据库被拒问题排查

问题根因 #

报错核心原因是Docker容器网络隔离机制：

• 你在宿主机上能通过localhost:5433访问Postgres，是因为Postgres容器的端口映射绑定在宿主机的网络栈上
• 但Airflow运行在独立的Docker容器内，代码里写的localhost指向的是Airflow容器自身的内部回环地址，既不是宿主机，也不是Postgres容器，自然无法连通宿主机上映射的5433端口
• 另外你当前在DAG顶层就实例化了数据库操作类，DAG被Airflow解析加载的阶段就会尝试建立数据库连接，一旦连接失败就会直接抛出Broken DAG错误，连DAG列表都加载不出来。

解决步骤 #

方案1（推荐，同compose网络下使用） #

如果你的Postgres和Airflow是用同一份官方docker-compose.yaml部署的，二者默认在同一个自定义Docker网络内，不需要走宿主机端口转发，直接通过服务名内网直连即可：

• 修改数据库连接初始化参数：
  • host字段改为Postgres在docker-compose.yaml里对应的服务名（官方默认配置下服务名就是postgres）
  • port字段改回Postgres容器内部默认端口5432，不需要用宿主机映射的5433
    修改后的代码示例：

# Constructor method initializing the connection to DB and creating cursor
def __init__(self, db="projeto-pos", user="postgres", host="postgres", password=my_psswd, port="5432"):
    self.conn = psycopg2.connect(
        database=db, host=host, port=port, password=password, user=user)
    self.cur = self.conn.cursor()

• 如果你是在Airflow UI的Connections板块配置连接，对应Host、Port参数和上面保持一致即可。

方案2（跨网络/必须走宿主机端口映射时使用） #

如果Postgres没有和Airflow部署在同一个Docker网络，必须通过宿主机的5433端口访问，不要用localhost作为host，按宿主机操作系统选对应的host值：

• Linux系统：host填Docker网桥默认网关地址172.17.0.1，端口保持5433；如果是较新版本Docker，也可以填host.docker.internal，需要在Airflow对应服务的docker-compose配置里追加如下段落后重启服务：

extra_hosts:
  - "host.docker.internal:host-gateway"

• Mac/Windows系统（Docker Desktop环境）：host直接填host.docker.internal，端口保持5433即可。

注意事项 #

• 不要在DAG文件顶层实例化数据库连接类，把数据库连接初始化逻辑挪到任务实际执行的python_callable函数内部（也就是你的db.insert_into方法里）。Airflow会默认每隔几十秒扫描解析一次dags文件夹下的所有文件，顶层建连会导致每次解析都重复创建数据库连接，一旦解析阶段网络波动就会直接触发Broken DAG报错。
• 配置完连接参数后，可以先进入Airflow的scheduler/worker容器内部，安装postgresql客户端手动测试连通性，确认能连上再触发DAG运行，测试命令参考：

apt update && apt install -y postgresql-client
psql -h 你配置的host地址 -p 对应端口 -U postgres -d projeto-pos

内容的提问来源于stack exchange，提问作者Luis Felipe