在Dataproc集群上从私有仓库安装包时出错

• 验证服务账号权限实际生效情况

  • 在集群节点上激活指定服务账号后，执行gcloud artifacts print-settings python --repository=repo --location=europe-west1 --project=repo-proj，确认能正常获取仓库配置；再手动执行pip install my_artifact --index-url=https://europe-west1-python.pkg.dev/repo-proj/repo/simple/，直接测试权限是否有效。
  • 检查服务账号是否直接绑定Artifact Registry Reader角色，避免依赖继承权限导致的失效问题。

• 检查keyring在Dataproc环境的配置状态

  • 执行keyring --list-backends，确认存在可用的keyring后端（如Google Cloud相关后端），Dataproc默认环境可能未启用适配的后端，导致无法读取凭据。
  • 执行pip install -v my_artifact查看详细日志，确认pip是否触发了keyring认证流程；若未触发，检查pip版本是否低于20.0（该版本以上才支持keyring），或是否未正确启用keyring作为pip认证后端。

• 确认私有仓库地址与包名正确性

  • 核对仓库URL的区域、项目ID、仓库名拼写，注意包名的大小写、下划线/短横线差异，避免路径错误导致索引无法访问。
  • 在有权限的机器上用curl https://europe-west1-python.pkg.dev/repo-proj/repo/simple/my-artifact/访问索引页面，确认包版本列表正常返回，确保包确实存在于目标仓库。

• 排查初始化脚本的执行逻辑

  • 检查初始化脚本是否在pip安装前设置了PIP_USE_KEYRING=1环境变量，确保该变量在pip运行前生效。
  • 查看/var/log/dataproc-initialization-script-*.log日志，确认keyring相关配置命令执行成功，无报错被忽略。

• 用直接认证方式定位问题

  • 执行gcloud auth print-access-token | pip install --index-url=https://europe-west1-python.pkg.dev/repo-proj/repo/simple/ --trusted-host europe-west1-python.pkg.dev my_artifact --install-option="--token=$(cat -)"，若能成功安装，说明权限正常，问题出在keyring与pip的集成；若仍失败，则聚焦权限或仓库配置问题。

内容的提问来源于stack exchange，提问作者Lorenzo Ventura