本地使用TensorFlow gfile向GCP导出模型的权限配置问题

看起来你已经做好了大部分配置，但本地调试时TensorFlow的gfile API没正确获取到权限，我给你几个排查和解决的步骤：

1. 确认TensorFlow能读取到你的服务账号凭证 #

虽然你设置了GOOGLE_APPLICATION_CREDENTIALS环境变量，但有时候TensorFlow可能没有正确加载它。可以在代码开头添加以下代码验证：

import os
print("GOOGLE_APPLICATION_CREDENTIALS路径:", os.environ.get("GOOGLE_APPLICATION_CREDENTIALS"))
# 同时检查文件是否存在
if os.environ.get("GOOGLE_APPLICATION_CREDENTIALS"):
    print("凭证文件存在:", os.path.exists(os.environ["GOOGLE_APPLICATION_CREDENTIALS"]))

如果路径为空或者文件不存在，说明环境变量没生效——你需要确保在运行代码的终端里正确设置这个变量：

• Linux/macOS下：

export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"

• Windows下：

set GOOGLE_APPLICATION_CREDENTIALS=C:\path\to\your\service-account-key.json

2. 确保服务账号拥有足够的GCS权限 #

你的错误提示是Anonymous caller does not have storage.objects.get access，这说明代码在尝试检查文件是否存在（gfile.Exists）时没有权限。你需要给服务账号至少添加以下两个权限：

• Storage Object Viewer：允许读取GCS对象的元数据（对应storage.objects.get权限）
• Storage Object Creator：允许上传/创建GCS对象（对应storage.objects.create权限）

操作步骤：

1. 打开GCP控制台的IAM页面
2. 找到你的服务账号，点击“编辑”按钮
3. 点击“添加另一个角色”，搜索并添加上述两个角色
4. 保存更改，等待1-2分钟让权限生效

3. 显式在代码中加载凭证（可选但有效） #

有时候TensorFlow的gfile API不会自动读取服务账号凭证，你可以用google-auth库显式加载凭证并关联到TensorFlow的GCS客户端，同时优化GCS路径的处理：

from tensorflow import gfile
from google.oauth2 import service_account
import os
import joblib

def dump_object(object_to_dump, output_path):
    # 显式加载服务账号凭证
    credentials = service_account.Credentials.from_service_account_file(
        os.environ["GOOGLE_APPLICATION_CREDENTIALS"],
        scopes=["https://www.googleapis.com/auth/cloud-platform"]
    )
    # 初始化TensorFlow的GCS配置
    gfile.GetDefaultFileSystem().SetCredentials(credentials)
    
    if not gfile.Exists(output_path):
        # 用gfile.Dirname替代os.path.dirname，更适配GCS路径
        dir_path = gfile.Dirname(output_path)
        if dir_path:
            gfile.MakeDirs(dir_path)
    with gfile.Open(output_path, 'w') as wf:
        joblib.dump(object_to_dump, wf)

4. 检查本地GCP凭证缓存冲突 #

如果你的本地环境同时有用户凭证（比如通过gcloud auth login登录的）和服务账号凭证，可能会出现冲突。可以尝试：

• 运行gcloud auth application-default login，获取应用默认凭证（这会覆盖当前的默认凭证）
• 或者运行gcloud auth activate-service-account --key-file=/path/to/your/service-account-key.json，确保当前终端使用的是服务账号凭证

完成以上步骤后，重新运行代码，应该就能解决本地的权限拒绝问题了。

内容的提问来源于stack exchange，提问作者DarioB