如何合并Vaex创建的HDF文件？列名列数不一致合并方案求助

针对你30GB规模、列结构不一致的Vaex HDF文件合并需求，利用Vaex的延迟计算特性可以在不加载全量数据到内存的前提下完成操作，具体实现步骤如下：

步骤1：收集所有文件的列信息 #

先遍历所有HDF文件，汇总出现过的所有列名，确定最终合并后DataFrame的完整列集合：

import vaex
import glob

# 替换为你的HDF文件所在路径
file_paths = glob.glob("/your/hdf/files/dir/*.hdf5")

all_columns = set()
for path in file_paths:
    df = vaex.open(path)
    all_columns.update(df.column_names)
all_columns = list(all_columns)

步骤2：统一列结构并合并文件 #

对每个文件补充缺失的列（用NaN填充），再通过Vaex的concat完成延迟合并，全程无需加载全量数据：

merged_df = None

for path in file_paths:
    df = vaex.open(path)
    # 为当前文件添加缺失的列
    for col in all_columns:
        if col not in df.column_names:
            # 根据列的预期类型调整填充值，比如数值列用np.nan，字符串列用空字符串
            df[col] = vaex.vconstant(None, length=len(df))
    # 逐步合并到总DataFrame
    if merged_df is None:
        merged_df = df
    else:
        merged_df = vaex.concat([merged_df, df])

步骤3：保存合并后的文件 #

将最终合并的DataFrame导出为单个HDF文件：

# 替换为你要保存的目标路径
merged_df.export_hdf5("/path/to/save/merged_result.hdf5")

额外提示 #

• 若文件数量极多，可分批次合并（比如每100个文件合并一次，再逐步合并批次结果），避免临时对象占用过多资源。
• 若存在列数据类型不一致的情况，需提前统一（比如将数值列转为相同精度，字符串列统一编码），可在补充列时指定dtype参数，例如vaex.vconstant(np.nan, length=len(df), dtype=np.float64)。

内容的提问来源于stack exchange，提问作者Terry