无互联网环境下用Proxy运行Dataflow任务遇403 Forbidden错误排查

核心原因 #

从报错栈能明确看到，错误发生在Google Auth组件尝试访问GCP元数据服务（地址169.254.169.254）时，请求被Proxy拦截返回403。元数据服务是GCP实例本地的内部服务，完全不需要通过公网Proxy访问，你的Proxy配置错误地将这个本地地址纳入了代理范围，导致请求被拒绝。

解决步骤 #

• 排除元数据服务地址的代理规则：
  在环境变量或Proxy配置工具中，把169.254.169.254和metadata.google.internal加入**不代理（no-proxy）**列表。比如通过环境变量设置：

  export NO_PROXY=169.254.169.254,metadata.google.internal
  export no_proxy=169.254.169.254,metadata.google.internal
  

• 验证元数据服务访问：
  在实例内执行以下命令，确认配置生效后能正常访问元数据服务：

  curl http://169.254.169.254/computeMetadata/v1/instance/service-accounts/default/email -H "Metadata-Flavor: Google"
  

  若返回服务账号邮箱，说明元数据请求已绕过Proxy，可正常访问。
• 确保Dataflow任务继承正确的Proxy配置：
  启动Dataflow任务时，需保证Proxy配置仅针对公网地址，避免内部元数据请求被代理。可通过设置BEAM_EXTRA_JAVA_OPTIONS传递JVM级别的代理排除规则：

  export BEAM_EXTRA_JAVA_OPTIONS="-Dhttp.nonProxyHosts=169.254.169.254|metadata.google.internal"
  

补充说明 #

你的服务账号权限和实例API访问范围完全符合要求，问题根源就是Proxy配置疏漏拦截了内部元数据请求，这是受限网络环境下使用GCP服务的常见问题。

内容的提问来源于stack exchange，提问作者luca