AWS Glue Python Shell任务中--python-modules-installer-option参数失效

核心原因与解决方案 #

• 必须配合--additional-python-modules使用：--python-modules-installer-option是pip安装的附加选项，只有通过--additional-python-modules指定要安装的包时，该参数才会触发执行。单独添加该参数不会产生任何日志输出，因为没有触发pip安装流程。
  示例参数配置：

  • Key: --additional-python-modules，Value: your-package-name
  • Key: --python-modules-installer-option，Value: --index-url <my-index-url>

• 检查Glue版本兼容性：--python-modules-installer-option仅支持Glue 2.0及以上版本的Python Shell任务。若任务使用Glue 1.0版本，该参数会被直接忽略，创建任务时需确认版本符合要求。

• 确保参数值格式正确：若需传递多个pip选项，需将所有选项放在同一个Value中，用空格分隔，不能拆分到多个参数里。例如：

  --index-url <my-index-url> --trusted-host <my-index-host> --upgrade
  

• 验证索引地址的可达性：

  • 确认Glue任务的IAM角色具备访问自定义索引地址的权限（如VPC内索引需配置Glue VPC连接，公网索引需确保任务有公网访问权限）。
  • 在本地执行pip install your-package --index-url <my-index-url>，验证自定义索引能否正常响应包查询。

• 查看完整CloudWatch日志：默认任务日志可能未展示pip安装细节，前往CloudWatch对应的Glue任务日志组，搜索包含pip install的日志条目，排查参数是否被正确传递或是否存在安装报错。

内容的提问来源于stack exchange，提问作者Adrian Castro