如何在tf.io.gfile.GFile中指定GCP项目以下载对象？

核心结论 #

tf.io.gfile.GFile本身不支持直接通过参数指定GCP项目，它的访问逻辑依赖于当前环境的认证上下文（而非显式项目参数）。但你完全可以实现跨不同GCP项目的资源访问，核心在于权限配置和凭证管理，而非指定项目参数。

为什么不需要显式指定项目？ #

GCS的bucket名称是全局唯一的，每个bucket归属的GCP项目是固定的。只要你的认证账号拥有目标bucket的访问权限（如storage.objects.get），无论当前环境的默认项目是什么，直接使用gs://<bucket>/<path>路径就能访问该bucket的资源，无需额外指定项目。

跨项目访问的可行方案 #

1. 单凭证跨项目访问（推荐） #

为你的服务账号或用户账号授予所有目标项目中对应GCS bucket的访问权限：

• 在每个目标项目的IAM中，添加该账号并赋予Storage Object Viewer（或更细粒度的权限）角色。
• 之后无需切换任何配置，直接用tf.io.gfile.GFile访问不同项目的bucket路径即可：

  import tensorflow as tf
  
  # 访问项目A的bucket
  with tf.io.gfile.GFile("gs://project-a-bucket/data.txt") as f:
      data_a = f.read()
  
  # 访问项目B的bucket（同一凭证有权限）
  with tf.io.gfile.GFile("gs://project-b-bucket/data.txt") as f:
      data_b = f.read()
  

2. 多凭证切换访问（不同身份访问不同项目） #

如果必须使用不同的身份（如不同服务账号）访问不同项目，可以通过切换环境变量来更换TensorFlow使用的凭证：

import os
import tensorflow as tf

# 切换到项目A的服务账号凭证
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = "/path/to/project-a-service-account-key.json"
with tf.io.gfile.GFile("gs://project-a-bucket/data.txt") as f:
    data_a = f.read()

# 切换到项目B的服务账号凭证
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = "/path/to/project-b-service-account-key.json"
with tf.io.gfile.GFile("gs://project-b-bucket/data.txt") as f:
    data_b = f.read()

注意：这种全局环境变量切换在多线程/多进程场景下需要谨慎处理；若要在tf.function中使用，需在构建图之前完成凭证切换，因为图模式会固化环境上下文。

3. 兼容tf.function的替代客户端 #

如果需要更灵活的控制，同时确保兼容tf.function，推荐继续使用TensorFlow原生的tf.io.gfile或tf.data相关API（底层依赖相同的GCS访问逻辑）。如果需要更细粒度的GCS操作，可以结合google-cloud-storage客户端库，但要注意：该库的操作无法直接在tf.function的图模式中执行，需在图外完成凭证切换和权限验证，再用TensorFlow API读取数据。

内容的提问来源于stack exchange，提问作者Matěj Račinský