使用boto3调用AWS Athena创建外部表遇S3权限拒绝问题

从你的描述和代码来看，创建表失败主要有3个核心问题：脚本语法错误、S3路径格式不规范，以及权限策略缺失必要操作权限。下面逐个拆解说明：

1. 脚本中的语法与参数格式错误 #

你的代码存在几处语法问题，会直接导致执行异常或参数无效：

• 导入语句拆分错误：import boto3 import botocore 应该拆分为两行：

  import boto3
  import botocore
  

• print语句缺少闭合括号：print(list(bucket.objects.all()) 末尾需要补充 )
• ResultConfiguration 参数格式错误：创建表时的 ResultConfiguration={'s3_output'} 是无效格式，必须指定 OutputLocation 键，且值为完整的S3路径（以s3://开头），示例：

  ResultConfiguration={'OutputLocation': 's3://s3_output/'}
  

  同样，创建数据库时的 ResultConfiguration={'OutputLocation': 's3_output'} 也需要修正为s3://s3_output/格式。

2. S3路径格式不规范 #

Athena的DDL语句中，S3路径必须是完整的s3://开头格式，否则会被解析为相对路径或无效地址：

• 创建表的LOCATION子句：LOCATION 's3_input'; 应该改为：

  LOCATION 's3://s3_input/';
  

注意路径末尾的斜杠/，虽然不是强制要求，但加上能避免Athena误将路径识别为对象而非前缀。

3. 权限策略缺失必要的S3操作权限 #

你的IAM权限策略缺少两个关键操作，这是触发Access Denied报错的核心原因：

• s3:ListBucket权限：创建外部表时，Athena需要列出目标S3桶的内容来验证路径有效性，你的策略仅允许s3:GetObject，未授权桶列表操作。
• s3:PutObject权限：Athena执行查询（包括DDL）时，需要将查询结果写入指定的输出S3桶，你的策略未授权写入操作。

修正后的IAM权限策略如下：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowS3ReadForInputBucket",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::s3_input",
        "arn:aws:s3:::s3_input/*"
      ]
    },
    {
      "Sid": "AllowS3WriteForOutputBucket",
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::s3_output/*"
    },
    {
      "Sid": "AllowS3BucketMetadataAccess",
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets",
        "s3:HeadBucket"
      ],
      "Resource": "*"
    }
  ]
}

提示：将arn:aws:s3:::s3_input和arn:aws:s3:::s3_output替换为你实际的桶ARN，直接使用s3://s3_input格式在IAM策略中也是支持的。

为什么控制台能成功？ #

AWS控制台执行Athena查询时，可能会使用控制台会话的额外权限（比如默认控制台权限集，或当前会话关联的角色拥有更完整的权限），而你的脚本使用的IAM身份（用户/角色）权限更受限，因此出现执行结果差异。

修正后的完整脚本 #

以下是修复所有问题后的完整代码参考：

import boto3
import botocore

# Test access to the input bucket
bucket = boto3.resource('s3').Bucket('s3_input')
print(list(bucket.objects.all()))

client = boto3.client('athena', region_name='us-east-1')

# Create a new database
db_query = 'CREATE DATABASE IF NOT EXISTS france;'
response = client.start_query_execution(
    QueryString=db_query,
    ResultConfiguration={'OutputLocation': 's3://s3_output/'}
)

# Create a new table
table_query = '''
CREATE EXTERNAL TABLE IF NOT EXISTS france.by_script (`content` string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES ('separatorChar' = ',')
LOCATION 's3://s3_input/';
'''
response = client.start_query_execution(
    QueryString=table_query,
    ResultConfiguration={'OutputLocation': 's3://s3_output/'},
    QueryExecutionContext={'Database': 'france'}
)

内容的提问来源于stack exchange，提问作者Flavien Lambert