使用Polars read_json读取JSON文件触发OutOfSpec错误求助

可能的原因 #

• Polars旧版本解析bug：你使用的0.13.58是较早期版本，这个版本的JSON Lines解析模块存在已知的偏移量计算bug，处理大文件或特定结构的JSON行时容易触发OutOfSpec错误，后续版本已修复这类问题。
• JSON文件存在格式异常：尽管是公开数据集，但仍可能存在个别行JSON格式不规范（比如未转义的特殊字符、截断的数组/字符串、语法错误），导致Polars解析器计算内容偏移时超出范围。
• 内存峰值引发的解析异常：16GB内存处理5GB JSON文件理论上足够，但旧版本Polars内存管理效率较低，解析过程中可能出现内存峰值，间接导致偏移量计算逻辑出错。

解决建议 #

1. 升级Polars到最新稳定版
   执行以下命令更新：

   pip install --upgrade polars
   

   新版本修复了大量JSON解析相关bug，大概率能解决该问题。

2. 校验并修复JSON文件
   使用jq工具批量验证文件中每一行的JSON格式：

   jq '.' ./data/yelp_academic_dataset_review.json
   

   命令会输出格式错误的行号，你可以过滤掉这些异常行后再尝试读取。

3. 分批/懒加载读取文件
   如果升级后仍有问题，尝试用懒加载或分批读取的方式降低内存压力：

   • 懒加载方式：

     import polars as pl
     df = pl.scan_json('./data/yelp_academic_dataset_review.json', json_lines=True).collect()
     

   • 分批读取方式：

     import polars as pl
     reader = pl.read_json_batched('./data/yelp_academic_dataset_review.json', json_lines=True, batch_size=100000)
     df_list = []
     for batch in reader:
         df_list.append(batch)
     final_df = pl.concat(df_list)
     

内容的提问来源于stack exchange，提问作者LeonBam