AWS Glue作业BigQuery ETL连接器无法下载加载报错排查

该报错的核心是Glue作业运行时尝试从AWS托管的ECR仓库拉取BigQuery连接器的镜像层时请求被拒绝，触发400错误，常见原因如下：

• 连接器镜像元数据失效：AWS近期更新了Marketplace中BigQuery连接器的镜像digest，你现有连接器配置中缓存的旧digest已无效，请求ECR时参数不合法返回400
• 网络访问限制：如果Glue作业运行在自定义VPC中，未配置ECR VPC端点、安全组出网未放开443端口访问ECR服务，或你配置的内网代理近期更新规则拦截了ECR域名的请求
• IAM权限变更：Glue作业的执行角色近期被修改，移除了拉取ECR镜像所需的必要权限
• Marketplace订阅失效：你此前订阅的BigQuery连接器被取消订阅，或连接器条款更新后未重新确认，导致无权限拉取对应镜像

按以下步骤逐一排查即可解决：

• 重新同步连接器配置：进入Glue控制台，找到对应BigQuery连接器和关联的连接，重新编辑后保存；如果仍报错，直接删除现有连接器，重新从AWS Marketplace订阅BigQuery连接器并新建连接，触发Glue拉取最新的有效镜像元数据
• 校验网络配置：如果作业运行在VPC内，确认已创建ECR接口端点、S3网关端点，安全组出方向放开443端口到对应AWS服务的地址段；若使用代理，确认代理规则未拦截AWS ECR的公有域名请求
• 补充IAM权限：给Glue作业的执行角色添加以下ECR相关权限：

{
    "Effect": "Allow",
    "Action": [
        "ecr:GetDownloadUrlForLayer",
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "aws-marketplace:ViewSubscriptions"
    ],
    "Resource": "*"
}

• 确认订阅状态：进入AWS Marketplace控制台的订阅管理页面，确认BigQuery连接器的订阅状态为活跃，若有条款更新提示，完成确认即可。

内容的提问来源于stack exchange，提问作者ALTAF HUSSAIN