Python查询Amazon Athena遇NoSuchModuleError错误，求解决方案

我是Python和Amazon Athena的新手，尝试用Python查询Athena。代码如下：

import pandas
from sqlalchemy.engine import create_engine

engine = create_engine("amazonathena:///?AccessKey='<key>'&SecretKey='<secretKey>'&Region='IRELAND'&Database='<dbName>'&S3StagingDirectory='s3://<>'")
df = pandas.read_sql("SELECT doctype FROM dbName.tableName limit 10;", engine)
print(df)

运行后出现错误：

NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:amazonathena

我尝试执行pip install --upgrade amazonathena-sqlalchemy，但安装失败，提示：

ERROR: Could not find a version that satisfies the requirement amazonathena-sqlalchemy (from versions: none)
ERROR: No matching distribution found for amazonathena-sqlalchemy

请问我哪里出错了？该如何解决？

你的问题出在依赖包名称错误和连接字符串格式不符合要求两个方面，分步解决如下：

1. 安装正确的SQLAlchemy Athena方言包 #

你尝试安装的amazonathena-sqlalchemy不是正确的包名，目前主流支持Athena的SQLAlchemy方言扩展是pyathena的SQLAlchemy集成版，执行以下命令安装：

pip install pyathena[sqlalchemy]

这个包会自动安装SQLAlchemy所需的Athena方言插件，直接解决NoSuchModuleError问题。

2. 修正连接字符串格式 #

原连接字符串存在格式错误，需要调整三点：

• 不要给AccessKey、SecretKey等参数值加单引号
• 区域名称要使用AWS标准区域代码（爱尔兰对应的是eu-west-1，而非IRELAND）
• 连接前缀需改为awsathena+rest://

修正后的连接示例：

engine = create_engine("awsathena+rest://<你的AccessKey>:<你的SecretKey>@eu-west-1/<你的数据库名>?s3_staging_dir=s3://你的存储桶路径/")

如果不想在URL中暴露密钥（更安全），也可以通过系统环境变量传递身份凭证，pyathena会自动读取AWS的环境变量配置。

3. 优化查询语句 #

如果连接字符串中已经指定了数据库，查询时可以省略数据库前缀，直接写SELECT doctype FROM tableName limit 10;，避免重复指定；如果保留全名称，确保数据库和表名完全匹配（注意大小写敏感）。

内容的提问来源于stack exchange，提问作者anonymus