使用pyyaml转储numpy对象数组生成的嵌套列表失败
问题根因
dtype='object'类型的numpy数组本身不会强制统一内部元素的原生类型,调用tolist()方法仅会把数组的多层结构转换成Python列表,不会把列表内部残留的numpy标量自动转成对应原生Python类型。你打印外层子列表的类型确实是list,但第二个子列表内部的元素本质仍是numpy.float64类型,PyYAML默认虽然能序列化这类自定义对象,但输出的内容会附带二进制块的对象标记,无法脱离numpy环境通用读取,也就出现了你看到的“只有第一个子列表是正常浮点数、第二个子列表全是特殊对象标记”的现象。
可直接落地的解决方法
- 手动清理嵌套结构内的残留numpy类型
写个递归转换函数,遍历所有嵌套层级,把numpy标量通过自带的.item()方法转成原生Python类型,示例代码:def sanitize_numpy_type(obj): # 遇到numpy标量直接转原生类型 if isinstance(obj, np.generic): return obj.item() # 遇到列表/字典就递归遍历内部元素 if isinstance(obj, list): return [sanitize_numpy_type(item) for item in obj] if isinstance(obj, dict): return {k: sanitize_numpy_type(v) for k, v in obj.items()} return obj # 拿到tolist的结果后先做一层清洗 my_list = sanitize_numpy_type(data.tolist()) - 给PyYAML添加自定义类型序列化规则
不用改原有数组和转换逻辑,直接给PyYAML注册numpy常见数值类型的序列化映射,dump的时候自动转成原生数字输出,示例代码:
注册完成后正常执行yaml.dump即可,不会再输出复杂的自定义对象标记。# 注册numpy浮点/整型的序列化规则 yaml.add_representer(np.float64, lambda dumper, val: dumper.represent_float(float(val))) yaml.add_representer(np.float32, lambda dumper, val: dumper.represent_float(float(val))) yaml.add_representer(np.int64, lambda dumper, val: dumper.represent_int(int(val))) - 从数组创建环节规避类型混杂
如果数组存储的全是浮点数据,没必要强制设置dtype='object',用默认的float类型创建数组时,tolist()会把所有内部元素统一转成原生Python float,从根源上避免类型混杂的问题。
排查小技巧
排查这类类型混杂问题时,别只检查外层结构的类型,可以打印嵌套结构最内层的元素类型,比如执行print(type(my_list[1][0])),就能直接定位到隐藏在列表内部的numpy标量,不用等序列化输出内容异常才发现问题。
内容的提问来源于stack exchange,提问作者Tamme
相关产品推荐
相关产品推荐

