AWS Athena创建外部表报错：指定S3存储桶不存在

我在SageMaker Studio的Python笔记本中，尝试使用AWS Athena从已设置为公开访问的远程S3存储桶创建外部表。执行CREATE TABLE语句后，查询表数据时收到错误，提示指定的S3存储桶不存在。尝试为存储桶URI添加'athena-'前缀但无效，求排查方法。

相关信息 #

• S3存储桶URI（隐去部分隐私信息）：s3://sagemaker-studio-45890349XXXX-h2kl4fs8jb/data
• 创建表的Python代码：

# SQL statement to execute
statement = """CREATE EXTERNAL TABLE IF NOT EXISTS {}.{}(...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' LOCATION '{}'
TBLPROPERTIES ('skip.header.line.count'='1')""".format(
    database_name, table_name_csv, s3_group_bucket_csv
)

print(statement)

• 实际执行的SQL语句：

CREATE EXTERNAL TABLE IF NOT EXISTS dsoaws.gun_violence_csv12(...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' LOCATION 's3://sagemaker-studio-45890349XXXX-h2kl4fs8jb/data'
TBLPROPERTIES ('skip.header.line.count'='1')

• 查询代码：

df = pd.read_sql(statement, conn)
df.head(5)

• 错误信息：

---

OperationalError Traceback (most recent call last)...
DatabaseError: Execution failed on sql: SELECT * FROM dsoaws.gun_violence_csv12
WHERE state = 'California' LIMIT 100
com.amazonaws.services.s3.model.AmazonS3Exception: The specified bucket does not exist...

排查方法 #

• 确认存储桶真实存在：直接在AWS S3控制台搜索桶名sagemaker-studio-45890349XXXX-h2kl4fs8jb，检查是否存在。注意S3桶名全局唯一，拼写错误、大小写偏差都会导致找不到（桶名本身不区分大小写，但URI输入错误仍可能触发问题）。
• 验证Athena执行角色权限：Athena执行查询用的角色必须拥有目标桶的s3:ListBucket和s3:GetObject权限，权限范围要覆盖桶arn:aws:s3:::sagemaker-studio-45890349XXXX-h2kl4fs8jb及前缀/data/*；同时检查角色信任策略是否允许athena.amazonaws.com扮演该角色。
• 检查区域匹配：Athena工作区所在区域必须和S3桶的区域一致，跨区域访问会触发“桶不存在”错误。在S3控制台查看桶的区域，对比Athena的工作区域是否匹配。
• 确认存储桶公开访问设置：检查桶的块公共访问是否完全关闭，同时确认桶的权限策略确实允许所有用户或Athena执行角色进行ListBucket和GetObject操作。
• 直接测试S3访问性：在SageMaker笔记本中用boto3测试能否访问该桶：

import boto3
s3 = boto3.client('s3')
try:
    s3.list_objects_v2(Bucket='sagemaker-studio-45890349XXXX-h2kl4fs8jb', Prefix='data/')
    print("桶可正常访问")
except Exception as e:
    print(f"访问失败：{str(e)}")

如果这里报错，说明问题出在S3访问层面，而非Athena配置。

• 检查LOCATION路径格式：确认LOCATION路径没有多余或缺失的斜杠，路径中无未转义的特殊字符（你的路径看起来无此问题，但仍需确认）。

内容的提问来源于stack exchange，提问作者chongochoo