pyarrow的GcsFileSystem报SSL证书错误，如何验证凭据有效性？

使用pyarrow的GcsFileSystem时，所有操作均抛出SSL证书相关错误：

ArrowException: Unknown error: google::cloud::Status(UNKNOWN: Permanent error GetObjectMetadata: PerformWork() - CURL error [60]=SSL peer certificate or SSH remote key was not OK)

已确认前置条件：

• GOOGLE_APPLICATION_CREDENTIALS环境变量指向的JSON凭据文件存在
• 官方google-cloud-storage客户端可正常认证并访问GCS对象

需解决两个核心问题：

1. 最简方式检查GcsFileSystem是否成功加载凭据并完成认证
2. 修复SSL证书错误导致的操作失败

一、检查GcsFileSystem认证状态的最简方法 #

pyarrow的GcsFileSystem基于Google Cloud C++客户端库，无直接暴露的认证状态检查API，可通过轻量无风险操作验证：

方法1：获取凭据关联的项目ID #

通过尝试读取凭据绑定的项目ID，验证凭据是否成功加载：

from pyarrow.fs import GcsFileSystem

gcs_fs = GcsFileSystem()
try:
    project_id = gcs_fs._client.project()
    print(f"凭据加载成功，关联项目ID: {project_id}")
except Exception as e:
    print(f"认证失败: {str(e)}")

方法2：访问公开存储桶 #

使用GCP公开存储桶（如gcp-public-data-landsat）测试，无需额外权限：

from pyarrow.fs import GcsFileSystem

gcs_fs = GcsFileSystem()
try:
    info = gcs_fs.get_file_info("gcp-public-data-landsat")
    print(f"认证成功，存储桶类型: {info.type}")
except Exception as e:
    print(f"认证或连接失败: {str(e)}")

若以上操作失败，说明凭据加载或认证流程存在问题；若成功但私有桶访问失败，则大概率是SSL证书信任链异常。

二、修复CURL SSL证书错误（错误码60） #

报错中的CURL error [60]表示pyarrow依赖的CURL库无法验证GCS服务器的SSL证书（官方Python客户端使用Python证书库，与pyarrow的CURL证书机制不同），可通过以下方案解决：

1. 指定系统CA证书路径 #

找到系统CA证书文件路径（Ubuntu：/etc/ssl/certs/ca-certificates.crt；CentOS：/etc/pki/tls/certs/ca-bundle.crt；Windows需自行下载curl-ca-bundle.crt），通过环境变量指定：

import os
# 替换为你的系统CA证书路径
os.environ["CURL_CA_BUNDLE"] = "/etc/ssl/certs/ca-certificates.crt"

from pyarrow.fs import GcsFileSystem
gcs_fs = GcsFileSystem()
# 重新尝试操作
gcs_fs.get_file_info("your-bucket/your-blob")

2. 显式传入凭据路径初始化 #

排除环境变量加载异常，直接指定凭据文件路径：

from pyarrow.fs import GcsFileSystem
import os

gcs_fs = GcsFileSystem(google_application_credentials=os.environ["GOOGLE_APPLICATION_CREDENTIALS"])
# 测试操作
gcs_fs.get_file_info("your-bucket/your-blob")

3. 更新依赖库 #

• 更新pyarrow到最新版本：

  pip install --upgrade pyarrow
  

• 若系统CURL版本过旧，更新系统CURL及CA证书包（Ubuntu示例）：

  sudo apt update && sudo apt install --reinstall ca-certificates curl
  

4. 临时禁用SSL验证（仅测试环境） #

生产环境绝对禁止，仅用于快速排查是否为证书问题：

import os
os.environ["GOOGLE_CLOUD_DISABLE_GRPC"] = "true"
os.environ["CURL_SSL_VERIFYPEER"] = "0"

from pyarrow.fs import GcsFileSystem
gcs_fs = GcsFileSystem()

内容的提问来源于stack exchange，提问作者capitalistcuttle