Python对接GCS批量读取JSON文件出现JSONDecodeError的解决求助
报错根因
- GCS是无目录结构的对象存储,使用
list_blobs匹配指定前缀时,会把控制台操作生成的、用于模拟目录的零字节占位对象一同纳入返回结果。这类占位对象没有实际存储内容,下载后得到空字符串,传入json.loads就会触发“Expecting value: line 1 column 1”的空值解析错误。 - 原有遍历逻辑没有做文件类型校验,匹配前缀的范围内如果混杂了非JSON格式文件(比如校验文件、临时上传的占位文件),这类文件的内容不符合JSON规范,也会触发同类解析报错。
可落地的修正实现
核心调整点:
- 遍历过程中自动过滤零字节的目录占位对象
- 仅筛选后缀为
.json的文件做解析 - 增加JSON解析的异常捕获,避免单个异常文件中断整个批量读取流程
完整可运行代码:
import os import json from google.cloud import storage # 配置GCS认证参数 credential_path = "xyz.json" os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path os.environ['GCS_API_KEY'] = "164641r3t4fcvfsv564" storage_client = storage.Client() bucket_name = 'NAME' target_prefix = '2021-03-05' bucket = storage_client.get_bucket(bucket_name) # 遍历所有匹配前缀的对象 for blob in bucket.list_blobs(prefix=target_prefix): # 过滤规则:跳过零字节占位对象、跳过非JSON后缀的文件 if blob.size == 0 or not blob.name.endswith('.json'): continue print(f"读取文件: {blob.name}") try: # 下载文件内容并解码为字符串后解析JSON raw_content = blob.download_as_string().decode("utf-8") parsed_data = json.loads(raw_content) print(f"文件内容: {parsed_data}") except json.JSONDecodeError as e: print(f"文件 {blob.name} 解析失败,跳过,错误信息: {str(e)}")
注意事项
- 原代码中
download_as_string(client=None)的冗余参数可以直接去掉,不传参时默认会使用初始化时创建的storage_client实例,逻辑完全等价。 - 之前尝试用
json.load的方案不生效是正常的:json.load接收的是带read方法的文件句柄,而从GCS下载得到的是字节串类型,必须使用json.loads匹配输入类型。 - 如果遇到部分带BOM头的JSON文件解析异常,可以将代码里的
decode("utf-8")替换为decode("utf-8-sig"),自动适配带文件头的场景。
内容的提问来源于stack exchange,提问作者technophile_3
相关产品推荐
相关产品推荐

