Golang中如何获取HDF5文件的组、数据集及属性列表？

问题背景 #

已用Golang完成HDF5文件写入功能，现在需要读取文件并在CLI/Web展示内容，但现有Golang HDF5库/自定义函数仅支持通过已知名称访问组、数据集和属性，无法实现遍历所有组/数据集、遍历所有属性的需求，需要达成：

1. 输出文件内的组和数据集列表
2. 输出对象（文件/组/数据集）的属性列表

解决方案 #

Golang的HDF5封装库大多只暴露基础功能，要实现遍历需基于HDF5底层C API扩展，或使用绑定更完整的库（如sbinet/hdf5）。以下是具体实现方案：

1. 遍历组内的组和数据集

利用HDF5的H5Literate接口（对应sbinet/hdf5库的Iterate方法），可以遍历指定组下的所有对象：

import (
    "fmt"
    "log"
    "github.com/sbinet/hdf5"
)

// ListGroupObjects 遍历指定组下的所有对象（组/数据集）
func ListGroupObjects(fg *hdf5.CommonFG) ([]string, error) {
    var objects []string
    // 迭代组内所有对象，返回名称和类型
    err := fg.Iterate(func(name string, info hdf5.ObjectInfo) error {
        objType := "Unknown"
        switch info.Type {
        case hdf5.ObjectTypeGroup:
            objType = "Group"
        case hdf5.ObjectTypeDataset:
            objType = "Dataset"
        }
        objects = append(objects, fmt.Sprintf("%s [%s]", name, objType))
        return nil
    })
    return objects, err
}

2. 遍历对象的所有属性

利用HDF5的H5Aiterate接口（对应sbinet/hdf5库的AttributeIterate方法），遍历对象的所有属性及对应值：

// ListAttributes 遍历指定对象（文件/组/数据集）的所有属性及值
func ListAttributes(obj hdf5.Attributer) ([]map[string]interface{}, error) {
    var attrs []map[string]interface{}
    err := obj.AttributeIterate(func(name string, info hdf5.AttributeInfo) error {
        attr, err := obj.OpenAttribute(name)
        if err != nil {
            return err
        }
        defer attr.Close()

        // 根据属性类型读取值，处理常见的字符串、数值类型
        var val interface{}
        switch info.Type.Class() {
        case hdf5.TCSString:
            var s string
            err = attr.Read(&s)
            val = s
        case hdf5.TCSInteger:
            var i int64
            err = attr.Read(&i)
            val = i
        case hdf5.TCSFloat:
            var f float64
            err = attr.Read(&f)
            val = f
        default:
            val = "Unsupported type"
        }

        if err == nil {
            attrs = append(attrs, map[string]interface{}{
                "name":  name,
                "value": val,
                "type":  info.Type.String(),
            })
        }
        return err
    })
    return attrs, err
}

3. 整合到现有代码

将上述函数整合到业务逻辑中，实现完整的遍历展示：

func main() {
    fname := "example.h5"
    // 以只读模式打开文件
    file, err := hdf5.OpenFile(fname, hdf5.F_ACC_RDONLY)
    if err != nil {
        log.Fatalf("Failed to open file: %v", err)
    }
    defer file.Close()

    // 遍历根目录下的所有对象
    rootObjs, err := ListGroupObjects(&file.CommonFG)
    if err != nil {
        log.Fatalf("Failed to list root objects: %v", err)
    }
    fmt.Println("=== Root Objects ===")
    for _, obj := range rootObjs {
        fmt.Printf("- %s\n", obj)
    }

    // 打开指定组并遍历其属性
    group, err := file.OpenGroup("ImageData")
    if err != nil {
        log.Fatalf("Failed to open group 'ImageData': %v", err)
    }
    defer group.Close()

    attrs, err := ListAttributes(group)
    if err != nil {
        log.Fatalf("Failed to list attributes: %v", err)
    }
    fmt.Println("\n=== ImageData Group Attributes ===")
    for _, attr := range attrs {
        fmt.Printf("- %s (%s): %v\n", attr["name"], attr["type"], attr["value"])
    }
}

自定义封装的扩展方案 #

如果代码基于自己封装的HDF5接口（而非sbinet/hdf5），可以通过cgo直接调用HDF5的C API实现遍历：

遍历对象的CGo实现

/*
#include <hdf5.h>
#include <stdlib.h>
#include <string.h>

herr_t iterate_obj_callback(hid_t group, const char *name, const H5L_info_t *info, void *data) {
    char ***list = (char ***)data;
    size_t len = 0;
    if (*list != NULL) {
        while ((*list)[len] != NULL) len++;
    }
    *list = realloc(*list, sizeof(char*) * (len + 2));
    (*list)[len] = strdup(name);
    (*list)[len + 1] = NULL;
    return 0;
}
*/
import "C"
import (
    "fmt"
    "unsafe"
)

// ListGroupObjectsRaw 基于CGo直接调用HDF5 API遍历组内对象
func ListGroupObjectsRaw(groupID C.hid_t) ([]string, error) {
    var cList **C.char = nil
    defer func() {
        if cList != nil {
            for i := 0; cList[i] != nil; i++ {
                C.free(unsafe.Pointer(cList[i]))
            }
            C.free(unsafe.Pointer(cList))
        }
    }()

    status := C.H5Literate(groupID, C.H5_INDEX_NAME, C.H5_ITER_NATIVE, nil, (*C.H5L_iterate_t)(C.iterate_obj_callback), unsafe.Pointer(&cList))
    if status < 0 {
        return nil, fmt.Errorf("H5Literate failed with status %d", status)
    }

    var objects []string
    for i := 0; cList[i] != nil; i++ {
        objects = append(objects, C.GoString(cList[i]))
    }
    return objects, nil
}

总结 #

虽然Golang的HDF5封装库功能相对有限，但通过直接对接底层C API或使用更完整的绑定库，完全可以实现遍历HDF5文件结构的需求，无需切换开发语言。

内容的提问来源于stack exchange，提问作者이욱용