如何在AWS MWAA中从S3的requirements.txt自动安装最新Python包版本

问题解答 #

1. 未指定版本时，MWAA是否始终安装最新版本？
   默认情况下，MWAA仅在触发依赖安装流程时（如S3的requirements.txt更新、环境配置变更、手动触发更新），才会读取requirements.txt并拉取PyPI上对应包的最新稳定版。底层EC2实例会有pip缓存，但触发安装时会优先校验PyPI的最新版本，不会一直复用缓存的旧包。但MWAA不会主动定期检查PyPI更新，只有触发安装流程时才会执行版本校验。

2. 包已安装，S3文件更新时会自动重装新版本吗？
   只要S3中的requirements.txt内容发生变化（哪怕仅添加空行或注释），MWAA就会触发依赖重装流程。此时未指定版本的包会对比当前已安装版本与PyPI最新版，存在更新则自动升级。若requirements.txt无任何改动，即使PyPI有新版本，MWAA也不会主动重装。

3. 无需修改文件即可强制刷新依赖的机制？
   MWAA没有直接的内置刷新按钮，但可通过以下间接方式实现：

• 调用MWAA的UpdateEnvironment API，修改一个无关业务的配置项（如添加/更新一个环境变量DEPENDENCY_REFRESH_TIMESTAMP、临时调整日志级别再改回），触发环境更新从而重新执行依赖安装；
• 用Lambda定期执行上述API调用，实现自动刷新；
• 通过Lambda给S3的requirements.txt添加动态注释（如# refreshed at 2024-05-20），利用文件内容变化触发MWAA的依赖安装。

4. AWS推荐的自动化实现模式？
   AWS官方无专门针对“自动拉取最新包版本”的推荐模式，但可结合以下服务搭建自动化流程：

• CloudWatch Events + Lambda：按固定周期（如每周）触发Lambda调用UpdateEnvironment API，触发依赖更新；
• 自定义Airflow DAG：编写DAG定期执行pip install --upgrade命令，但需注意MWAA worker为临时环境，此方式仅影响当前worker，不如全局环境更新可靠；
• CI/CD流水线（CodePipeline + CodeBuild）：定期检查包的最新版本，若需严格控制可自动更新requirements.txt并上传S3（但不符合“仅上传一次”需求，适合需记录版本变更的场景）。

完全自动化配置实现步骤 #

1. 上传无版本约束的requirements.txt到S3，示例：

requests
pandas

2. 在CloudWatch Events中创建定时规则（如每周日凌晨触发）；
3. 编写Lambda函数，调用MWAA的UpdateEnvironment API，修改一个无关配置（如更新环境变量REFRESH_TIMESTAMP为当前时间戳）；
4. 为Lambda授予mwaa:UpdateEnvironment权限；
5. 验证每次触发后，MWAA会重新执行依赖安装，拉取PyPI最新版本的包。

注意事项 #

• 自动更新依赖可能引入兼容性风险（如包API变更导致DAG失败），POC环境可放心使用，生产环境建议结合版本约束（如requests>=2.30.0）或先在测试环境验证；
• MWAA依赖安装有时间限制（通常30分钟），若包数量多或下载慢可能导致安装失败，需监控CloudWatch Logs中的依赖安装日志；
• 若需避免频繁更新，可调整触发周期（如每月一次），平衡版本新鲜度与稳定性。

内容的提问来源于stack exchange，提问作者Hrithik Hiranwar