使用Vaex读取30GB CSV转HDF5时触发MemoryError报错

报错和convert=True参数无关，核心问题是分块参数设置和表结构不匹配：
你的CSV共有701列，设置chunk_size=5_000_000意味着单次要加载500万行全列数据，加上自动类型推断把大量列识别为内存占用极高的object类型，单块数据加载时就需要26.1GiB连续内存，直接触发内存溢出，根本没走到后续分块写入HDF5的流程。

• 大幅下调分块大小：700+列的宽表不要设置百万级单块行数，初始测试可以把chunk_size设为100_000，单块内存占用会降到原设置的1/50，约500MB量级，不会触发内存溢出。
• 显式指定所有列的数据类型：Vaex读取CSV底层依赖Pandas分块加载，自动类型推断会把含空值、混合内容的列统一识别为object类型，内存占用是定长数值/字符串类型的10~20倍。提前给每列指定明确的定长类型，可再降低70%以上的单块内存占用。
• 关闭低内存模式：加载时传入low_memory=False，避免分块过程中反复调整列类型产生的内存碎片。

修复后的参考代码：

import vaex

# 请根据实际表结构替换dtype中的列名与对应类型
vaex.from_csv(
    "combined.csv",
    convert=True,
    chunk_size=100_000,
    low_memory=False,
    dtype={
        "col1": "int32",
        "col2": "float32",
        "col3": "string"
    }
)

如果调参后转换速度仍不理想，可以用更低风险的流程处理：

• 先将30GB的原始CSV用系统自带的split工具按行数切为10_20个12GB的小分片，逐个转换为HDF5/Arrow格式文件，最后用vaex.open_many()加载所有分片为单个虚拟数据集，全程内存占用可稳定控制在2GB以内。
• 表中数值类列占比高的场景，优先转换为Arrow格式代替HDF5，Vaex对Arrow格式的读取性能比HDF5高30%左右，转换阶段内存占用也更低。

内容的提问来源于stack exchange，提问作者rochimer