Python读取含多个独立JSON对象的文件并转换为DataFrame的报错解决
逐行独立JSON对象转Pandas DataFrame实操方案
针对文件为逐行存放独立JSON对象(无外层JSON数组包裹)的场景,以下是经过实际验证、可直接跑通的处理方案,覆盖此前使用jsonlines、pandas.read_json报错的常见诱因:
方案1:原生逐行解析(零额外依赖,适配90%以上报错场景)
- 实现逻辑:逐行读取文件内容,剔除首尾多余空格、跳过空行,逐行解析为字典后批量转成DataFrame
- 完整可运行代码:
import json import pandas as pd # 存储所有解析成功的JSON记录 all_records = [] # 替换为你的实际JSON文件路径,指定utf-8编码避免中文解析报错 with open("test.json", "r", encoding="utf-8") as f: for current_line in f: # 去掉行首行尾的换行符、多余空格 cleaned_line = current_line.strip() # 跳过处理后完全空的行(一般是文件末尾残留的空行) if not cleaned_line: continue # 逐行解析,捕获格式错误方便定位问题行 try: parsed_record = json.loads(cleaned_line) all_records.append(parsed_record) except json.JSONDecodeError as err: print(f"第{all_records.__len__()+1}行解析失败,内容为:{cleaned_line},错误原因:{err}") # 直接把所有记录转成DataFrame df = pd.DataFrame(all_records)
- 方案优势:不受pandas、第三方库版本兼容问题影响,解析失败时可以直接定位到格式不对的行,不会出现无厘头的解析报错;不管每行JSON包含Temp、OutsideTemp还是其他字段,都会自动把所有出现过的键识别为DataFrame列,缺对应字段的行自动填充为空值,不需要手动对齐列结构,非常适合Python开发经验较浅的场景快速排查问题。
方案2:用pandas内置接口实现(代码最简洁)
- 此前使用
pd.read_json报错的核心原因:未指定逐行解析参数,pandas默认会把整个文件当作标准JSON数组/单JSON对象解析,碰到逐行存储的结构就会触发格式校验错误 - 正确写法代码:
import pandas as pd # 核心:加lines=True参数,告知pandas按“逐行独立JSON”的规则解析 df = pd.read_json("test.json", lines=True, encoding="utf-8")
- 常见问题避坑:
- 必须加
encoding="utf-8",避免系统默认编码和文件编码不匹配导致的解析失败、中文乱码 - 如果文件体积较大、末尾残留多余空行导致报错,可以分批读取后合并:
# 每1000行读一次,降低内存占用 dfs = pd.read_json("test.json", lines=True, encoding="utf-8", chunksize=1000) df = pd.concat(dfs, ignore_index=True)
- 必须加
方案3:jsonlines库正确使用方式(适合超大型文件流式处理)
- 此前用jsonlines报错的常见诱因:文件路径配置错误、文件末尾残留空行、某一行存在JSON格式错误
- 正确写法代码:
import jsonlines import pandas as pd all_records = [] # 指定utf-8编码打开文件 with jsonlines.open("test.json", mode="r", encoding="utf-8") as reader: for record in reader: all_records.append(record) df = pd.DataFrame(all_records)
- 避坑提示:如果文件存在少量格式损坏的行,可以在循环里加try-except捕获解析错误,跳过坏行而不是直接中断整个程序。
内容的提问来源于stack exchange,提问作者heyou
相关产品推荐
相关产品推荐

