Polars读取空JSON报错但Pandas正常，该选哪个数据处理包？

问题本质：设计哲学差异，而非成熟度问题 #

Polars抛出异常并非因为功能不成熟，而是类型安全优先的设计选择：

• Polars对数据类型推断要求严谨，{"key":{}}中的空对象没有任何字段，Polars无法推断出Struct类型的结构，因此抛出异常提前暴露数据格式问题，避免后续处理中出现隐式错误。
• Pandas则更偏向兼容性优先，会将空对象视为空列处理，自动兼容这类不规范格式，返回空DataFrame。

Polars处理该场景的解决方案 #

如果需要用Polars处理含空对象的JSON，可以通过以下方式解决：

1. 手动指定Schema #

明确告诉Polars空对象的类型，比如定义为无字段的Struct：

from io import StringIO
import polars as pl

schema = {"key": pl.Struct([])}
df = pl.read_json(StringIO('{"key":{}}'), schema=schema)
print(df)

输出：

shape: (1, 1)
┌─────┐
│ key │
│ --- │
│ struct[] │
├─────┤
│ {}  │
└─────┘

2. 预处理JSON数据 #

将空对象转换为Null，让Polars可以正常推断类型：

from io import StringIO
import polars as pl
import json

json_str = '{"key":{}}'
data = json.loads(json_str)
# 遍历处理空对象
for k, v in data.items():
    if isinstance(v, dict) and not v:
        data[k] = None
df = pl.read_json(StringIO(json.dumps(data)))
print(df)

输出：

shape: (1, 1)
┌──────┐
│ key  │
│ ---  │
│ f64  │
├──────┤
│ null │
└──────┘

选型建议 #

• 选Pandas：如果数据格式不规范、需要兼容大量边缘情况，或者团队已熟悉Pandas生态，优先选Pandas，它的灵活性能降低格式适配成本。
• 选Polars：如果处理大数据量、追求极致性能，或者希望严格控制数据类型避免隐式错误，且能规范数据格式或愿意做预处理，Polars的类型安全和高性能会更适合。

内容的提问来源于stack exchange，提问作者user23121263