Airflow MWAA中Docker Operator执行失败问题求助

报错的核心原因是AWS MWAA的Airflow Worker节点没有运行Docker Daemon。Docker Operator默认尝试连接本地Unix套接字/var/run/docker.sock，但该套接字在MWAA托管环境中不存在，导致连接失败。而本地Airflow环境因为运行了Docker服务，所以可以正常执行。

MWAA作为托管服务，不允许用户在Worker节点上启动Docker Daemon，因此不能直接使用Docker Operator。推荐使用以下标准替代方案：

方案1：使用Amazon ECS Operator #

将容器化任务提交到AWS ECS集群运行，这是MWAA中运行容器任务的官方推荐方式：

1. 准备ECS资源 #

• 创建ECS集群：推荐使用Fargate类型，无需管理底层EC2实例
• 创建ECS任务定义：
  • 指定ECR镜像的完整URI（例如123456789012.dkr.ecr.us-east-1.amazonaws.com/your-dbt-image:latest）
  • 配置容器的命令、环境变量、CPU/内存资源限制
  • 为任务执行角色添加AmazonEC2ContainerRegistryReadOnly权限，确保能拉取ECR镜像

2. 修改DAG代码 #

替换DockerOperator为ECSOperator，示例代码如下：

from airflow.providers.amazon.aws.operators.ecs import ECSOperator

run_dbt_task = ECSOperator(
    task_id="dbt_run_fct_sample",
    aws_conn_id="aws_default",  # 已配置的AWS连接
    cluster="your-ecs-cluster-name",
    task_definition="your-dbt-task-def-name",  # 提前创建的ECS任务定义
    launch_type="FARGATE",
    overrides={
        "containerOverrides": [
            {
                "name": "your-container-name",  # 任务定义中指定的容器名
                "command": ["run", "-s", "fct_sample"],
                "environment": SNOWFLAKE_ENV_VAR
            }
        ]
    },
    network_configuration={
        "awsvpcConfiguration": {
            "subnets": ["subnet-xxxxxx"],  # 你的私有子网ID
            "securityGroups": ["sg-xxxxxx"],  # 允许访问外部服务的安全组
            "assignPublicIp": "ENABLED"  # 如果需要访问公网（如拉取ECR镜像）则启用
        }
    },
    dag=dag
)

3. 配置MWAA执行角色权限 #

确保MWAA的执行角色拥有以下IAM权限：

• ecs:RunTask
• ecs:DescribeTasks
• ecs:StopTask
• iam:PassRole（用于传递ECS任务执行角色）

方案2：使用EC2 SSH Operator（不推荐） #

如果必须依赖Docker，可以在独立EC2实例上运行Docker Daemon，通过SSHOperator连接到该实例执行Docker命令。但这种方式需要自行管理EC2实例的生命周期、安全和资源，不符合托管服务的最佳实践。

• MWAA不支持任何需要本地Docker Daemon的操作，包括Docker Operator、Docker-in-Docker等
• ECS任务定义中的镜像必须是完整的ECR URI，不能只写镜像名
• 确保ECS任务的网络配置允许访问Snowflake等依赖服务

内容的提问来源于stack exchange，提问作者Gayatri yadav