Python3.6下h5py2.8.0创建字符串HDF5数据集报<U38类型转换错误

版本兼容差异导致的类型映射缺失：

• 本地h5py 3.1.0可自动识别NumPy生成的Unicode字符串类型（即报错中的dtype('<U38')，对应Python原生str转换后的NumPy dtype），完成自动存储映射。
• 服务器端h5py 2.8.0版本未内置NumPy Unicode类型到HDF5原生字符串类型的自动转换逻辑，遇到自动推断出的<U>类dtype时，就会触发“无转换路径”的报错。
• 报错栈中额外出现的dtype=np.dtype('b')（单字节原生类型）和实际存储的字符串数据完全不匹配，会进一步放大类型兼容问题。

不需要升级服务器组件，仅调整代码中的类型定义即可解决：

• 放弃依赖h5py的自动类型推断，手动指定h5py 2.8.0可识别的HDF5原生字符串类型
• 路径类字段（dt）使用ASCII编码的固定长字符串存储即可满足长度需求
• 带古埃及象形文字的标注字段（gt）必须使用UTF-8编码的字符串类型，避免Unicode字符存储乱码

修正后的可运行代码 #

import h5py
import numpy as np

# 提前定义兼容h5py 2.8.0的字符串类型
# 存储路径的固定长ASCII类型，长度300可覆盖绝大多数相对路径长度
dt_dtype = h5py.string_dtype(encoding="ascii", length=300)
# 存储Unicode标注的UTF-8可变长类型，自动适配文本长度
gt_dtype = h5py.string_dtype(encoding="utf-8")

for i in ds.partitions:
    with h5py.File(source_data, "a") as hf:
        # 手动传入匹配的dtype，替换自动推断的不兼容<U类型
        hf.create_dataset(
            f"{i}/dt",
            data=ds.dataset[i]["dt"],
            dtype=dt_dtype,
            compression="gzip",
            compression_opts=4
        )
        hf.create_dataset(
            f"{i}/gt",
            data=ds.dataset[i]["gt"],
            dtype=gt_dtype,
            compression="gzip",
            compression_opts=4
        )

• 上述h5py.string_dtype接口在h5py 2.8.0版本中已原生支持，不需要额外升级依赖
• 用该接口存储的字符串，后续从HDF5文件读取时会自动解码为Python原生str，和本地新版本h5py的读取行为完全一致，不需要调整后续业务逻辑的读取代码
• 不要手动将字符串转为普通bytes类型传入数据集，既容易出现长度不匹配的问题，后续读取时还要手动解码，额外增加不必要的代码维护成本

内容的提问来源于stack exchange，提问作者Santiago Buitrago Hernandez