如何通过S3存储依赖包避免AWS Glue Job重复安装依赖并缩短运行耗时

完全可以通过把依赖包预打包存储在S3的方式来避免每次运行都重新下载安装，能大幅减少作业启动耗时。下面分步骤给你讲具体操作：

一、创建预打包的依赖包 #

因为Glue有特定的运行环境（比如Python版本、系统架构），所以最好在和Glue兼容的环境里打包依赖，避免出现兼容性问题：

方法1：用AWS Glue兼容的EC2实例打包 #

• 启动一台和你的Glue Job使用相同版本（比如Glue 2.0对应Python 3.6）的EC2实例，选择AWS Glue的官方AMI（可在AWS控制台的EC2镜像市场找到）
• 登录EC2后，创建临时目录：

  mkdir /tmp/glue-deps
  

• 使用pip把需要的依赖安装到这个目录：

  pip install redshift-utils==0.1 pymssql==2.1.4 -t /tmp/glue-deps
  

• 进入目录并打包所有文件：

  cd /tmp/glue-deps
  zip -r glue-dependencies.zip .
  

方法2：用Docker本地模拟Glue环境打包 #

如果不想用EC2，也可以用Docker在本地模拟：

• 拉取对应版本的Glue镜像：

  docker pull amazon/aws-glue-libs:glue-2.0
  

• 启动容器并挂载本地目录：

  docker run -it -v /local/path/to/save/deps:/tmp/glue-deps amazon/aws-glue-libs:glue-2.0 /bin/bash
  

• 在容器内安装依赖到挂载的目录：

  pip install redshift-utils==0.1 pymssql==2.1.4 -t /tmp/glue-deps
  

• 退出容器后，本地挂载的目录里就有安装好的依赖，直接打包成zip即可。

二、将依赖包上传到S3 #

把打包好的glue-dependencies.zip上传到你的S3存储桶，比如s3://your-bucket-name/glue-dependencies/glue-dependencies.zip

三、关联Glue Job和S3依赖包 #

1. 打开AWS Glue控制台，找到你的目标Job
2. 进入Job的编辑页面，找到**"Python library path"（Glue 3.0+版本可能叫"Additional Python modules"**）
3. 输入你刚才上传的S3路径：s3://your-bucket-name/glue-dependencies/glue-dependencies.zip
4. 保存Job配置

四、验证效果 #

重新运行Job，查看日志你会发现，不再出现下载安装redshift-utils和pymssql的流程，作业启动耗时会明显降低。

注意事项：

• 确保依赖包的Python版本、系统架构和你的Glue Job版本完全匹配，否则可能出现导入错误
• 如果后续需要更新依赖，重新打包上传到S3，再更新Job配置里的路径即可

内容的提问来源于stack exchange，提问作者VENKATA KRISHNA REDDY PERAM