能否用Python将DM4文件转换为带层级结构的可查看HDF5文件？

问题背景 #

需要从DM4文件中提取图表、图像等数据，保存为带层级结构的HDF5文件。尝试用Hyperspy工具转换后结果不符合预期：

• 转换后的HDF5未保留原DM4的层级分组结构
• 仅生成少量数据集，存在未知值，无法直接查看原文件完整数据

想确认：是否能将现有DM4文件转换为用户可直接查看的HDF5文件？

以下是之前使用的转换代码：

import hyperspy.api as hs
import h5py

def convert_dm4_to_hdf5(dm4_file, hdf5_file):
    signals = hs.load(dm4_file)
    

    with h5py.File(hdf5_file, 'w') as hfile:

        for i, signal in enumerate(signals):

            data_array = signal.data
            hfile.create_dataset(f'data_{i}', data=data_array)

    print("complete")


convert_dm4_to_hdf5('STEM SI.dm4', 'output.h5')

问题分析 #

原代码仅提取了信号对象的data属性，完全忽略了DM4文件中的层级分组信息和元数据。Hyperspy加载DM4后，信号对象的metadata和original_metadata字段中包含了原文件的结构、路径等关键信息，但原代码未对这些信息做任何处理，导致丢失层级结构。

解决方案 #

可以通过解析Hyperspy加载后的元数据，复刻原DM4的层级结构到HDF5文件中，同时保留数据和关键元数据，确保转换后的文件可直接查看。改进后的代码如下：

import hyperspy.api as hs
import h5py

def dm4_to_hdf5_with_structure(dm4_path, hdf5_path):
    # 加载DM4所有数据和元信息
    signals = hs.load(dm4_path, load_all_data=True)
    
    with h5py.File(hdf5_path, 'w') as h5file:
        for idx, signal in enumerate(signals):
            # 提取原DM4中的路径/层级标识，处理非法字符适配HDF5规则
            raw_path = signal.original_metadata.get('DocumentObjectList', {}).get('Path', f'dataset_{idx}')
            clean_group_path = raw_path.replace('/', '_').replace('\\', '_')
            
            # 创建对应层级的HDF5组
            target_group = h5file.create_group(clean_group_path)
            
            # 保存核心数据
            target_group.create_dataset('data', data=signal.data)
            
            # 保存可序列化的关键元数据（如尺寸、像素类型）
            for meta_key, meta_value in signal.metadata.items():
                try:
                    target_group.attrs[meta_key] = meta_value
                except TypeError:
                    # 跳过无法序列化的复杂对象
                    pass
            
            # 保存原DM4的完整原始元数据（可选，便于溯源）
            original_meta_group = target_group.create_group('original_dm4_metadata')
            for raw_meta_key, raw_meta_value in signal.original_metadata.as_dictionary().items():
                try:
                    original_meta_group.attrs[raw_meta_key] = raw_meta_value
                except TypeError:
                    pass
    
    print(f"转换完成，已生成带层级结构的HDF5文件：{hdf5_path}")

# 调用示例
dm4_to_hdf5_with_structure('STEM SI.dm4', 'structured_output.h5')

关键改进点 #

• 使用load_all_data=True确保加载DM4文件中所有数据对象，避免遗漏
• 从original_metadata提取原文件的路径信息，创建对应HDF5组以保留层级结构
• 同步保存核心数据和元数据，便于直接查看数据属性
• 处理HDF5组名的非法字符，避免创建组时出错

转换后的HDF5文件可通过HDFView工具或Python的h5py库直接查看层级结构和数据内容。

内容的提问来源于stack exchange，提问作者이욱용