You need to enable JavaScript to run this app. Python对接GCS批量读取JSON文件出现JSONDecodeError的解决求助
优惠活动
大模型
产品
解决方案
定价
更多

Python对接GCS批量读取JSON文件出现JSONDecodeError的解决求助

报错根因
  • GCS是无目录结构的对象存储,使用list_blobs匹配指定前缀时,会把控制台操作生成的、用于模拟目录的零字节占位对象一同纳入返回结果。这类占位对象没有实际存储内容,下载后得到空字符串,传入json.loads就会触发“Expecting value: line 1 column 1”的空值解析错误。
  • 原有遍历逻辑没有做文件类型校验,匹配前缀的范围内如果混杂了非JSON格式文件(比如校验文件、临时上传的占位文件),这类文件的内容不符合JSON规范,也会触发同类解析报错。
可落地的修正实现

核心调整点:

  • 遍历过程中自动过滤零字节的目录占位对象
  • 仅筛选后缀为.json的文件做解析
  • 增加JSON解析的异常捕获,避免单个异常文件中断整个批量读取流程

完整可运行代码:

import os
import json
from google.cloud import storage

# 配置GCS认证参数
credential_path = "xyz.json"
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path
os.environ['GCS_API_KEY'] = "164641r3t4fcvfsv564"

storage_client = storage.Client()
bucket_name = 'NAME'
target_prefix = '2021-03-05'
bucket = storage_client.get_bucket(bucket_name)

# 遍历所有匹配前缀的对象
for blob in bucket.list_blobs(prefix=target_prefix):
    # 过滤规则:跳过零字节占位对象、跳过非JSON后缀的文件
    if blob.size == 0 or not blob.name.endswith('.json'):
        continue

    print(f"读取文件: {blob.name}")
    try:
        # 下载文件内容并解码为字符串后解析JSON
        raw_content = blob.download_as_string().decode("utf-8")
        parsed_data = json.loads(raw_content)
        print(f"文件内容: {parsed_data}")
    except json.JSONDecodeError as e:
        print(f"文件 {blob.name} 解析失败,跳过,错误信息: {str(e)}")

注意事项

  • 原代码中download_as_string(client=None)的冗余参数可以直接去掉,不传参时默认会使用初始化时创建的storage_client实例,逻辑完全等价。
  • 之前尝试用json.load的方案不生效是正常的:json.load接收的是带read方法的文件句柄,而从GCS下载得到的是字节串类型,必须使用json.loads匹配输入类型。
  • 如果遇到部分带BOM头的JSON文件解析异常,可以将代码里的decode("utf-8")替换为decode("utf-8-sig"),自动适配带文件头的场景。

内容的提问来源于stack exchange,提问作者technophile_3

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 17:06:04