在GCP VM中使用Snakemake向GCP Bucket传文件时认证失败求助

问题场景 #

在GCP虚拟机上运行Snakemake时，尝试向GCS Bucket传输输出文件，触发以下认证错误：

NoAuthHandlerFound in line 10 of /home/fadwa_elkhaddar8/GCP/snakefile: No handler was ready to authenticate. 1 handlers were checked. ['HmacAuthV1Handler'] Check your credentials

栈追踪关键路径：
/home/fadwa_elkhaddar8/miniconda3/envs/snakemake/lib/python3.6/site-packages/boto/auth.py line 1021 in get_auth_handler

解决方法 #

1. 利用VM内置服务账号自动认证 #

GCP VM默认绑定服务账号，只要配置了正确的存储权限，无需手动密钥：

• 检查VM的服务账号权限：在GCP控制台VM详情页的「IAM与管理员」标签，确保账号拥有Storage Object Creator或Storage Admin角色
• 在VM中刷新应用默认凭证：

  gcloud auth application-default login
  

  或者直接通过元数据服务器获取临时凭证（Snakemake的GS模块会自动识别）：

  export GOOGLE_APPLICATION_CREDENTIALS=/tmp/gcp-adc.json
  curl -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/token > $GOOGLE_APPLICATION_CREDENTIALS
  

2. 配置HMAC密钥适配HmacAuthV1Handler #

报错提示检查HmacAuthV1Handler，可通过创建GCS互操作性密钥解决：

• 登录GCP控制台 → 云存储 → 设置 → 互操作性 → 创建HMAC密钥，关联到目标服务账号
• 在VM中设置环境变量：

  export GS_ACCESS_KEY_ID="你的HMAC访问密钥ID"
  export GS_SECRET_ACCESS_KEY="你的HMAC秘密密钥"
  

  或者写入~/.boto文件持久化：

  [Credentials]
  gs_access_key_id = 你的HMAC访问密钥ID
  gs_secret_access_key = 你的HMAC秘密密钥
  

3. 更新依赖库修复兼容性问题 #

旧版本的Snakemake或boto可能存在认证逻辑bug：

• 升级Snakemake到最新稳定版：

  conda update snakemake -n snakemake
  

• 安装/更新必要的依赖包：

  pip install --upgrade boto google-cloud-storage
  

验证认证有效性 #

执行Snakemake前，先测试Bucket访问权限：

gsutil ls gs://你的Bucket名称

若能正常列出Bucket内容，说明认证配置成功，再启动Snakemake任务。

内容的提问来源于stack exchange，提问作者Fadwa El