Airflow创建Postgres表异常：DAG运行成功但目标表未生成

以下是针对问题的具体排查步骤和解决方法：

• 确认连接的目标数据库
  Airflow UI中配置的Postgres连接，Database字段可能指向了非预期的数据库（比如默认的postgres库）。你可以：

  • 直接在连接配置页检查Database值是否正确；
  • 在DAG中添加database参数明确指定操作的数据库：

    task_1 = PostgresOperator(
        dag=dag,
        task_id='create_a_pg_table',
        postgres_conn_id='pg_ps_airflow',
        database='你的目标数据库名',
        sql='''CREATE TABLE IF NOT EXISTS dag_trial (
            SN SERIAL PRIMARY KEY,
            REPORT_DATE DATE,
            USER_ID VARCHAR(30))
        '''
    )
    

• 检查Docker网络配置
  Airflow和Postgres容器必须处于同一Docker网络才能互通：

  • 用docker network ls查看现有网络，确认两个容器都加入了同一个网络；
  • 连接配置中的Host字段，要填Postgres容器的名称（如postgres）或容器IP，不能用localhost（容器内的localhost指向自身，而非宿主机）。

• 指定SQL的Schema
  若未指定Schema，表可能被创建到非默认Schema下（比如用户自定义Schema）：

  • 修改SQL语句，显式指定Schema（通常为public）：

    CREATE TABLE IF NOT EXISTS public.dag_trial (
        SN SERIAL PRIMARY KEY,
        REPORT_DATE DATE,
        USER_ID VARCHAR(30)
    )
    

  • 或在Airflow连接配置中设置Schema字段为public（或你需要的Schema）。

• 查看任务详细日志
  即使DAG显示成功，任务日志可能包含静默错误（如权限不足）：

  • 进入Airflow UI，点击对应任务实例，查看日志内容，搜索CREATE TABLE或INSERT相关输出，确认SQL是否真正执行、是否有报错信息。

• 强制事务自动提交
  若连接配置中关闭了自动提交，可能导致SQL执行后未生效：

  • 在PostgresOperator中显式设置autocommit=True：

    task_1 = PostgresOperator(
        dag=dag,
        task_id='create_a_pg_table',
        postgres_conn_id='pg_ps_airflow',
        autocommit=True,
        sql='''CREATE TABLE IF NOT EXISTS dag_trial (...)'''
    )
    

内容的提问来源于stack exchange，提问作者FASASI Kamorudeen