使用Athena连接S3时遭遇NoCredentialsError问题求助

问题原因 #

你用boto3.setup_default_session设置的凭证没有被SQLAlchemy的Athena驱动（pyathena-sqlalchemy）识别——该驱动在创建客户端时会独立初始化boto3会话，不会复用你预先设置的默认会话。

可行解决方案 #

1. 直接在连接字符串中嵌入凭证 #

修改连接字符串，将AWS访问密钥和秘密密钥直接包含进去，让驱动直接读取：

# 修改连接字符串，把凭证放在@符号前
connection_string = f"awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@{connathena}:{portathena}/{schemaathena}?s3_staging_dir={s3stagingathena}&work_group={wkgrpathena}"

注意：不要在s3_staging_dir后面多加斜杠，避免路径解析问题。

2. 通过环境变量传递凭证 #

在代码开头设置AWS环境变量，驱动会自动读取这些变量：

import os
import boto3
from sqlalchemy import create_engine

# 先设置环境变量
os.environ['AWS_ACCESS_KEY_ID'] = aws_access_key_id
os.environ['AWS_SECRET_ACCESS_KEY'] = aws_secret_access_key
os.environ['AWS_DEFAULT_REGION'] = region

# 后续代码保持不变
connathena = f"athena.{region}.amazonaws.com"
# ... 其余连接代码 ...

3. 检查凭证变量的有效性 #

确保aws_access_key_id和aws_secret_access_key变量已正确赋值，避免为空或拼写错误：

# 在设置会话前打印变量验证
print(f"Access Key: {aws_access_key_id}")
print(f"Secret Key: {aws_secret_access_key}")

boto3.setup_default_session(aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)

4. 本地开发使用AWS配置文件 #

如果是本地运行，可在~/.aws/credentials文件中配置默认凭证：

[default]
aws_access_key_id = YOUR_ACCESS_KEY
aws_secret_access_key = YOUR_SECRET_KEY
aws_default_region = us-east-1

此时连接字符串无需包含凭证，驱动会自动读取配置文件中的内容。

内容的提问来源于stack exchange，提问作者datagekk