AWS Lambda Python3.11升级后SQLAlchemy连接Redshift报错求助

核心原因 #

你遇到的NoSuchModuleError("Can't load plugin: sqlalchemy.dialects:redshift.redshift_connector")确实和sqlalchemy-redshift 0.8.9不支持Python 3.11直接相关。该版本发布于2022年，早于Python 3.11的正式发布时间，其内部的方言注册逻辑在3.11环境下无法被SQLAlchemy正确识别加载。

解决方案 #

1. 升级sqlalchemy-redshift到兼容Python 3.11的版本 #

将requirements.txt中的sqlalchemy-redshift版本更新至0.9.0及以上（推荐最新稳定版0.9.2），该版本已明确适配Python 3.11：

redshift-connector==2.0.907
psycopg2-binary==2.9.9
SQLAlchemy==1.4.36
sqlalchemy-redshift==0.9.2

2. 修复Lambda Layer的打包路径 #

Lambda的Python层要求依赖必须放在指定目录结构下，否则运行时无法识别。正确打包步骤：

• 创建层级目录：mkdir -p python/lib/python3.11/site-packages
• 将依赖安装到该目录：pip install -r requirements.txt -t python/lib/python3.11/site-packages/
• 压缩整个python目录（而非内部的site-packages）：zip -r redshift-deps.zip python/
• 将生成的zip包上传为Lambda Layer

3. 验证依赖是否正确加载 #

在Lambda函数代码中添加调试代码，确认依赖已被正确安装：

import pkg_resources
print("Installed packages:", [p.key for p in pkg_resources.working_set])

执行后查看日志，确保sqlalchemy-redshift和redshift-connector出现在已安装包列表中。

4. 备选方案：改用Redshift原生SQLAlchemy集成 #

如果升级sqlalchemy-redshift后仍有问题，可尝试直接使用redshift_connector自带的SQLAlchemy支持（无需依赖sqlalchemy-redshift），修改连接URL的drivername：

url = sq.engine.url.URL.create(
    drivername='postgresql+redshift_connector',
    host=f"{redshift_endpoint}",
    port=5439,
    database='dev',
    username=f"{redshift_db_user}",
    password=f"{redshift_db_password}"
)

注：此方式需要确保redshift-connector版本≥2.0.883，该版本已内置对SQLAlchemy的适配。

内容的提问来源于stack exchange，提问作者Sanjay Shukla