如何用msgspec将JSON解码还原为含NumPy数组的Python对象？

问题描述 #

已实现NumPy数据的JSON编码逻辑，但无法将序列化后的JSON解码回原始的A类型对象，原解码逻辑存在用法错误。

原代码问题分析 #

• msgspec的dec_hook要求传入函数，而非类实例，原代码传入NumpyDecoder类不符合要求
• 解码钩子内部错误调用ms.json.decode，违背钩子函数的设计逻辑（钩子仅负责自定义类型转换，整体解码由msgspec完成）
• 数据类中混合使用traits的Array/List与标准类型标注，导致msgspec无法正确解析类型
• 创建A对象时参数错误（字段为a1却传入c1）

正确的编解码实现 #

from dataclasses import dataclass
import numpy as np
import msgspec as ms

# 编码钩子：处理NumPy类型，转为可序列化结构
def numpy_encoder_hook(obj):
    if isinstance(obj, (np.int_, np.intc, np.intp, np.int8, np.int16, np.int32, np.int64,
                        np.uint8, np.uint16, np.uint32, np.uint64)):
        return int(obj)
    elif isinstance(obj, (np.float_, np.float16, np.float32, np.float64)):
        return float(obj)
    elif isinstance(obj, np.ndarray):
        # 保留数组数据、类型、形状信息，确保解码完整还原
        return {
            "__ndarray__": obj.tolist(),
            "dtype": str(obj.dtype),
            "shape": obj.shape
        }
    # 其他类型交给默认编码器处理
    return obj

# 解码钩子：将序列化字典还原为NumPy数组
def numpy_decoder_hook(type_, obj):
    # 仅当目标类型为np.ndarray时，处理标记字典
    if type_ is np.ndarray and isinstance(obj, dict) and "__ndarray__" in obj:
        return np.array(obj["__ndarray__"], dtype=obj["dtype"]).reshape(obj["shape"])
    # 其他情况返回原对象，交给默认解码器处理
    return obj

# 修正数据类：使用标准类型标注，移除traits依赖
@dataclass
class C:
    c1: np.ndarray

@dataclass
class A:
    a1: list[C]

# 测试流程
if __name__ == "__main__":
    # 创建正确的测试对象
    c = C(np.ones(10, dtype=np.float64))
    a = A(a1=[c])

    # 初始化编码器和解码器
    enc = ms.json.Encoder(enc_hook=numpy_encoder_hook)
    dec = ms.json.Decoder(type=A, dec_hook=numpy_decoder_hook)

    # 编码
    encoded_data = enc.encode(a)
    print("编码后JSON：", encoded_data.decode('utf-8'))

    # 解码
    decoded_obj = dec.decode(encoded_data)
    print("\n解码后对象：", decoded_obj)
    print("数组类型验证：", type(decoded_obj.a1[0].c1))
    print("数组值验证：", decoded_obj.a1[0].c1)

关键说明 #

• 编码逻辑：将NumPy数组序列化为包含元数据的字典，避免丢失类型、形状信息
• 解码逻辑：通过type_参数判断目标类型，针对性处理数组还原，不干扰其他类型的解码流程
• 数据类优化：使用纯标准类型标注，确保msgspec能正确识别并解析对象结构
• 参数修正：创建A对象时使用正确的字段名a1，匹配类定义

内容的提问来源于stack exchange，提问作者Adam