AWS Data Pipeline所用EC2安装pip与boto3失败问题求助

根因说明 #

你的脚本存在两个核心问题导致找不到boto3：

1. 依赖安装和脚本运行的Python版本不一致：你给python3安装了boto3，但最后运行脚本用的python命令，在默认的Amazon Linux镜像中指向系统自带的python2.7，两个环境的依赖完全隔离
2. --user参数安装的依赖属于用户级路径：Data Pipeline的Shell活动运行时的执行用户，默认不会加载当前操作用户的私有依赖路径，导致即使版本匹配也找不到包

修正后的Shell脚本 #

#!/bin/bash
# 安装python3及对应版本的pip
sudo yum -y install python37 python3-pip
# 用对应python3的pip全局安装boto3，避免路径和版本匹配问题
sudo python3 -m pip install boto3 --upgrade
# 拉取业务脚本
aws s3 cp s3://path-to-my-script/python_script.py /tmp/python_script.py
# 明确用python3执行脚本，和安装依赖的版本保持一致
python3 /tmp/python_script.py

额外注意事项 #

• 如果你使用的是Amazon Linux 2023镜像，将yum安装的包名改为python3 python3-pip即可，该版本镜像默认已移除python2，不需要指定37后缀
• 不要混用python、python3、pip、pip3命令，优先用python3 -m pip安装依赖，可以100%确保安装的依赖属于你当前用的python3环境
• 特殊场景如果不能全局安装依赖，可以在运行脚本前手动指定PYTHONPATH环境变量到用户级依赖路径，比如export PYTHONPATH=/home/your-user/.local/lib/python3.7/site-packages:$PYTHONPATH，全局安装的方式不需要额外配置路径，稳定性更高

内容的提问来源于stack exchange，提问作者N01