如何更高效地反序列化已知类型的JSON字符串？

我用Rust程序实现了一个JSON API，以JSON Schema形式暴露接口，并基于该Schema生成了对应的Python Pydantic类。现在遇到的问题是，Python端需要处理多种JSON Schema类型的数据，但当前的反序列化方式效率很低，想找更符合Python风格的实现。

原简化代码如下：

class DataType(BaseModel):
    pass

class ATypeData(DataType):
    ...

class BTypeData(DataType):
    ...

class CTypeData(DataType):
    ...

def deserialize_wired_json_str(json_str) -> DataType:
    json_data = json.loads(json_str)
    
    if 'a_type' in json_str:
        return ATypeData.parse_raw(json.dumps(json_data['a_type']))
    elif 'b_type' in json_str:
        return BTypeData.parse_raw(json.dumps(json_data['b_type']))
    elif 'c_type' in json_str:
        return CTypeData.parse_raw(json.dumps(json_data['c_type']))
    ...

优化思路及实现 #

原代码存在两个核心问题：一是重复序列化/反序列化冗余操作（先解析字符串为字典，再转回字符串，最后再次解析）；二是基于原JSON字符串判断类型，容易出现误判（比如字段值包含目标键名时）。

优化后的代码如下：

from pydantic import BaseModel, ValidationError
import json

class DataType(BaseModel):
    pass

class ATypeData(DataType):
    # 示例字段，按需替换
    field_a: str

class BTypeData(DataType):
    field_b: int

class CTypeData(DataType):
    field_c: bool

# 建立类型键与Pydantic类的映射表，便于后续维护扩展
TYPE_MAP = {
    'a_type': ATypeData,
    'b_type': BTypeData,
    'c_type': CTypeData,
}

def deserialize_wired_json_str(json_str) -> DataType:
    json_data = json.loads(json_str)
    
    for type_key, model_cls in TYPE_MAP.items():
        if type_key in json_data:
            # 直接用已加载的字典解析，避免重复序列化/反序列化
            return model_cls.model_validate(json_data[type_key])
    
    # 处理未知类型的情况
    raise ValueError("Unknown data type in JSON payload")

额外优化建议 #

• 若使用Pydantic v1版本，将model_validate替换为parse_obj
• 如果JSON结构允许添加统一的类型标识字段，可以结合Pydantic的discriminator实现自动多类型解析，示例如下：

class DataType(BaseModel):
    type: str

class ATypeData(DataType):
    field_a: str
    
    model_config = {
        'discriminator': 'type'
    }

class BTypeData(DataType):
    field_b: int
    
    model_config = {
        'discriminator': 'type'
    }

class CTypeData(DataType):
    field_c: bool
    
    model_config = {
        'discriminator': 'type'
    }

def deserialize_wired_json_str(json_str) -> DataType:
    json_data = json.loads(json_str)
    # 此时JSON结构为直接包含type字段和对应业务数据，无需嵌套在a_type这类键下
    return DataType.model_validate(json_data)

内容的提问来源于stack exchange，提问作者Jamie