使用R语言arrow包读取Google Cloud私有Parquet文件超时求助

先修正参数错误 #

你在路径里加的retry_limit_seconds=10t有问题——多了个t，这个参数需要是纯数字，无效的参数值可能导致请求处理异常，进而触发超时。先把这个改成retry_limit_seconds=10。

用已认证的GcsFileSystem实例读取文件 #

既然你已经成功创建了GcsFileSystem对象，别直接用gs://路径让read_parquet自动推断文件系统，而是显式指定已初始化的文件系统实例，这样能确保使用正确的认证上下文，避免重复建立连接可能带来的问题。

示例代码：

# 先初始化已认证的GCS文件系统
gcs <- GcsFileSystem$create(json_credentials = "~/.ssh/myjson.json")

# 方式一：显式指定filesystem参数
df <- read_parquet(
  path = "mybucket/mypath/myfile.parquet",
  filesystem = gcs,
  retry_limit_seconds = 10
)

# 方式二：通过文件系统对象打开文件再读取（适合大文件或需要更细粒度控制的场景）
input_file <- gcs$open_input_file("mybucket/mypath/myfile.parquet")
df <- read_parquet(input_file)

额外排查建议 #

• 如果文件较大，适当调高retry_limit_seconds的值（比如30、60），给足够的传输时间；
• 可以先测试读取小文件或者指定col_select读取部分列，验证连接和读取逻辑是否正常；
• 确认文件路径完全正确（桶名、路径、文件名没有拼写错误）。

关于文档的疑问补充 #

你说得没错，Google Cloud不使用AWS风格的access/secret key，服务账号JSON凭证才是GCS的标准认证方式。arrow文档里那段关于access/secret key的内容应该是通用云存储的参数说明，不适用于GCS，你用JSON凭证的方式是完全正确的。

内容的提问来源于stack exchange，提问作者Mike.Gahan