MWAA(托管Airflow)2.0.2导入psycopg2触发Broken DAG问题求解

问题核心原因 #

MWAA 2.0.2底层基于Amazon Linux 2运行，预装了固定版本的Airflow 2.0.2及相关依赖，你之前的配置未锁定依赖版本，要么出现版本冲突，要么psycopg2编译缺失底层依赖，导致依赖实际未安装成功，进而触发Broken DAG报错。

具体解决步骤 #

• 第一步：清理冗余依赖，禁止同时安装psycopg2和psycopg2-binary，二者互斥，MWAA无编译环境，优先选择无需编译的psycopg2-binary
• 第二步：按照MWAA 2.0.2的版本约束编写requirements.txt，所有依赖版本严格匹配Airflow 2.0.2的兼容范围，示例配置如下：

apache-airflow[postgres]==2.0.2
psycopg2-binary==2.8.6
botocore>=1.19.52,<1.24.0

• 第三步：优先使用Airflow内置的PostgresHook操作Postgres，避免直接导入psycopg2，减少版本兼容问题，示例代码如下：

from airflow.providers.postgres.hooks.postgres import PostgresHook

# 初始化连接，postgres_conn_id对应Airflow连接后台配置的连接ID
pg_hook = PostgresHook(postgres_conn_id="your_pg_conn_id")
conn = pg_hook.get_conn()
cursor = conn.cursor()
# 执行SQL逻辑
cursor.execute("SELECT version()")
print(cursor.fetchone())

• 第四步：如果仍有报错，查看MWAA对应CloudWatch日志组/aws/mwaa/你的环境名称/requirements_install_ip，确认依赖安装阶段是否有报错信息，排查特殊网络、权限导致的依赖拉取失败问题。

内容的提问来源于stack exchange，提问作者Sam