Python3.12下用fsspec读取GCP数据遇Scope错误及安装问题求助

1. 解决Python3.12下的fsspec模块安装错误 #

Python3.12对部分旧版依赖兼容性有限，安装时需确保安装兼容的GCS相关依赖包：

• 先卸载现有可能冲突的包：

  pip uninstall -y fsspec gcsfs google-auth
  

• 安装适配Python3.12的新版本：

  pip install "fsspec>=2023.10.0" "gcsfs>=2023.10.0" "google-auth>=2.23.0"
  

  这些版本已针对Python3.12做了兼容性优化。

2. 修复OAuth Scope错误及读取桶内数据问题 #

你的错误核心是凭证未指定正确的GCS权限范围，且代码存在未定义变量client的问题，修正步骤如下：

步骤1：创建带正确Scope的凭证 #

创建ServiceAccount凭证时，显式添加GCS所需的权限范围，避免invalid_scope错误：

from google.oauth2 import service_account
import fsspec
import pandas as pd

# 指定GCS所需的权限范围
SCOPES = ['https://www.googleapis.com/auth/devstorage.read_only']
credentials = service_account.Credentials.from_service_account_file(
    'data.json',
    scopes=SCOPES
)

步骤2：正确初始化fsspec的GCS文件系统 #

移除未定义的client参数，直接用凭证初始化：

# 初始化GCS文件系统
fs = fsspec.filesystem('gcs', token=credentials)

步骤3：读取桶内CSV文件 #

确保glob路径格式正确，读取时完整指定桶内路径：

# 获取桶内所有CSV文件路径
csv_files = fs.glob("bucket-name/*.csv")

dfs = []
for file in csv_files:
    # 打开文件时需确保路径正确，fsspec会自动处理GCS路径
    with fs.open(file, mode='rb') as f:
        df = pd.read_csv(f)
        dfs.append(df)

# 合并数据框
df = pd.concat(dfs, ignore_index=True)
print(df.head())

3. 额外注意事项 #

• 无需安装Google Cloud CLI：仅用ServiceAccount密钥文件即可完成认证，CLI不是必需的。
• 检查ServiceAccount权限：确保你的data.json对应的ServiceAccount拥有**存储对象查看者（Storage Object Viewer）**或更高权限，否则会出现访问被拒绝的问题。
• 验证路径正确性：确认桶名拼写无误，且桶内确实存在CSV文件，可通过fs.ls("bucket-name")先查看桶内文件列表。

内容的提问来源于stack exchange，提问作者Shivani Srivastava