MWAA中RedshiftSQLOperator的XCom值不显示问题排查

以下是针对本地Airflow正常但MWAA环境下RedshiftSQLOperator返回XCom为空的常见排查点：

• 确认do_xcom_push参数设置
  RedshiftSQLOperator默认开启XCom推送，但如果DAG中显式将do_xcom_push设为False，会导致XCom无数据。需确保operator实例明确声明该参数为True：

check_duplicates_task = RedshiftSQLOperator(
    task_id="check_duplicates",
    sql="SELECT count(*), count(DISTINCT id) FROM your_table;",
    redshift_conn_id="redshift_default",
    do_xcom_push=True,
    dag=dag
)

• 验证SQL查询在MWAA环境的返回结果
  虽然本地查询有返回值，但MWAA连接的Redshift可能存在环境差异（如默认schema不同、数据权限限制），导致查询返回空集。可通过MWAA任务日志查看SQL执行后的返回结果，确认是否有数据输出。

• 检查Airflow版本兼容性
  本地与MWAA的Airflow版本差异可能导致operator行为不一致。例如部分旧版本Airflow中RedshiftSQLOperator的XCom推送逻辑存在问题，或参数命名规则不同。对比两者版本，若存在跨大版本差异（如本地1.x vs MWAA 2.x），需调整operator参数适配MWAA版本。

• 确认MWAA执行角色的XCom存储权限
  MWAA默认将XCom存储在关联的S3桶中，需确保执行角色拥有该桶的读写权限。检查IAM策略是否包含以下权限：

{
    "Effect": "Allow",
    "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
    ],
    "Resource": "arn:aws:s3:::your-mwaa-bucket/*"
}

• 查看任务执行日志排查细节
  在MWAA的任务日志中搜索XCom相关条目，确认是否存在Pushing XCom的记录，或是否有权限报错、结果处理失败的日志信息，这些细节能直接定位问题根源。

内容的提问来源于stack exchange，提问作者AIViz