在AWS Batch中执行Athena联邦查询遇权限错误求助

问题概述 #

已在Athena中配置MySQL联邦数据源（通过Lambda实现关系型数据库访问），Athena控制台可正常执行联邦查询，实现关系型数据库表与Athena/Glue表的关联查询（引用格式为<datasource_name>.<db_name>.<table_name>）。但在AWS Batch中运行相同查询时，出现权限错误：

The Amazon Athena query failed to run with error message: Amazon Athena experienced a permission error. Please provide proper permission and submitting the query again. If the issue reoccurs, contact AWS support for further assistance. You will not be charged for this query. We apologize for the inconvenience.

AWS Batch可正常执行仅使用Athena/Glue表的常规查询，作业定义使用ecsTaskExecutionRole作为执行角色和作业角色ARN，已为ecsTaskExecutionRole和ecsInstanceRole添加多组权限策略，后续补充了指定权限后问题仍未解决。

已配置的权限策略 #

Athena全操作权限 #

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:*"
            ],
            "Resource": [
                "arn:aws:athena:<my_region>:<my_acc_id>:*"
            ]
        }
    ]
}

Glue全操作权限 #

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "glue:*"
            ],
            "Resource": [
                "arn:aws:glue:<my_region>:<my_acc_id>:*"
            ]
        }
    ]
}

MySQL关联Lambda全操作权限 #

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:*"
            ],
            "Resource": [
                "arn:aws:lambda:<my_region>:<my_acc_id>:function:<my_lambda_name>:*"
            ]
        }
    ]
}

S3桶权限（含表数据桶、Athena输出桶） #

{
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::<table_bucket>",
                "arn:aws:s3:::<table_bucket>/*",
                "arn:aws:s3:::<athena_output_bucket>",
                "arn:aws:s3:::<athena_output_bucket>/*",
                "arn:aws:s3:::<athena_output_bucket>/athena-spill*"
            ]
        }
    ]
}

后续补充的权限 #

{
    "Effect": "Allow",
    "Action": "athena:ListWorkGroups",
    "Resource": "*"
}

可能遗漏的权限排查点 #

• Lambda资源权限范围问题：当前Lambda权限的Resource指定了:*后缀（对应版本/别名），若该Lambda未配置版本或别名，需将Resource修改为arn:aws:lambda:<my_region>:<my_acc_id>:function:<my_lambda_name>（去掉末尾的:*）。
• Athena工作组权限：确认AWS Batch作业使用的Athena工作组，需确保角色对该工作组拥有athena:GetWorkGroup、athena:UpdateWorkGroup等操作权限（若工作组有自定义配置）。
• Lambda执行角色的信任关系：检查MySQL数据源关联的Lambda的执行角色，其信任策略必须允许Athena服务（athena.amazonaws.com）调用该Lambda。若缺失此信任关系，Athena无法触发Lambda完成联邦查询。
• 云日志权限：为角色添加CloudWatch Logs相关权限：logs:CreateLogGroup、logs:CreateLogStream、logs:PutLogEvents，用于查看Athena联邦查询的详细日志，精准定位具体的权限缺失项。
• IAM角色传递权限：若Lambda执行角色与AWS Batch使用的ecsTaskExecutionRole为不同角色，需确保ecsTaskExecutionRole拥有sts:AssumeRole权限，允许承担Lambda执行角色。

内容的提问来源于stack exchange，提问作者mangusta