S3路径权限拒绝：Athena-express所需最小IAM策略是什么？

问题描述 #

我正尝试使用Athena-express Node.js模块查询Athena。根据Athena-express文档，IAM角色/用户需附加AmazonAthenaFullAccess和AmazonS3FullAccess策略，但为微服务授予AmazonS3FullAccess不可行。当前我已配置输出位置与数据源的相关权限，但仍收到错误：

Permission denied on S3 path: s3://[my-bucket-name]/production/[path]/[path]/v1/dt=2022-05-26/.hoodie_partition_metadata

请问可授予的最小权限是什么？

当前配置详情：

输出位置 #

在arn:aws:s3:::[my-bucket-name]/tmp/athena和arn:aws:s3:::[my-bucket-name]/tmp/athena/*上配置了以下权限：

• s3:AbortMultipartUpload
• s3:CreateMultipartUpload
• s3:DeleteObject
• s3:Get*
• s3:List*
• s3:PutObject
• s3:PutObjectTagging

数据源位置 #

• 在arn:aws:s3:::*上配置了s3:GetBucketLocation
• 在arn:aws:s3:::[my-bucket-name]上配置了s3:ListBucket
• 在arn:aws:s3:::[my-bucket-name]/production/[path]/[path]和arn:aws:s3:::[my-bucket-name]/production/[path]/[path]/*上配置了s3:Get*和s3:List*

解决方案 #

1. 补充Hudi元数据文件权限 #

错误提示的.hoodie_partition_metadata是Hudi表的元数据文件，当前数据源权限覆盖的路径未完全包含该文件所在层级。调整数据源资源路径，确保包含元数据文件所在的分区路径：

• 单分区场景：arn:aws:s3:::[my-bucket-name]/production/[path]/[path]/v1/dt=2022-05-26/*
• 多分区场景：arn:aws:s3:::[my-bucket-name]/production/[path]/[path]/v1/dt=*/*
  权限保持s3:Get*和s3:List*即可。

2. Athena核心最小权限（替代AmazonAthenaFullAccess） #

无需附加完整的AmazonAthenaFullAccess，仅授予以下必要权限即可：

• athena:StartQueryExecution
• athena:GetQueryExecution
• athena:GetQueryResults
• athena:StopQueryExecution
  资源可限定为你的Athena工作组ARN，例如arn:aws:athena:[your-region]:[your-account-id]:workgroup/[your-workgroup]

3. 完整最小权限策略示例 #

{
    "Version": "2012-10-17",
    "Statement": [
        // Athena核心权限
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution",
                "athena:GetQueryResults",
                "athena:StopQueryExecution"
            ],
            "Resource": "arn:aws:athena:[your-region]:[your-account-id]:workgroup/[your-workgroup]"
        },
        // S3输出位置权限
        {
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:CreateMultipartUpload",
                "s3:DeleteObject",
                "s3:Get*",
                "s3:List*",
                "s3:PutObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::[my-bucket-name]/tmp/athena",
                "arn:aws:s3:::[my-bucket-name]/tmp/athena/*"
            ]
        },
        // S3数据源权限（包含Hudi元数据）
        {
            "Effect": "Allow",
            "Action": "s3:GetBucketLocation",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::[my-bucket-name]"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": [
                "arn:aws:s3:::[my-bucket-name]/production/[path]/[path]",
                "arn:aws:s3:::[my-bucket-name]/production/[path]/[path]/*"
            ]
        }
    ]
}

注意事项 #

• 替换所有占位符（如[my-bucket-name]、[your-region]）为实际值
• 若使用默认Athena工作组，资源可指定为arn:aws:athena:[region]:[account-id]:workgroup/primary
• 遵循最小权限原则，尽量缩小资源范围，避免不必要的通配符*

内容的提问来源于stack exchange，提问作者Dean