使用Dask合并多DataFrame时遭遇Metadata mismatch错误的求助

当合并列不一致的DataFrame时，直接使用dd.from_delayed会因为分区结构和元数据不匹配报错。正确的做法是让每个分区的DataFrame先对齐到目标列，缺失列自动补NA，而不是跳过元数据校验。

修改方案 #

核心是在生成每个分区DataFrame的阶段，强制对齐到目标列集合：

• 调整生成DataFrame的函数，接收目标列参数，通过reindex补全缺失列
• 生成延迟任务时传入目标列，确保每个分区输出结构与元数据一致

修改后的完整代码 #

import pandas as pd
import dask.dataframe as dd
from dask.diagnostics import ProgressBar
from dask import delayed
import os

def dict_to_dataframe(data_dict, target_columns):
    df = pd.DataFrame.from_dict(data_dict)
    # 对齐到目标列，缺失列自动填充NaN
    return df.reindex(columns=target_columns)


data_a = {'col1': [[1, 2, 3, 4], [5, 6, 7, 8]], 'col2': [[9, 10, 11, 12], [13, 14, 15, 16]]}        
data_b = {'col1': [[17, 18, 19, 20], [21, 22, 23, 24]], 'col3': [[25, 26, 27, 28], [29, 30, 31, 32]]}

# 定义统一的目标列集合
target_cols = ['col1', 'col2', 'col3']
# 生成延迟任务时传入目标列参数
parts = [delayed(dict_to_dataframe)(fn, target_cols) for fn in [data_a, data_b]]
# 元数据保持原定义
types = pd.DataFrame(columns=target_cols, dtype=object)
ddf_result = dd.from_delayed(parts, meta=types)

print()
print('Write to file')
file_path = os.path.join('test.hdf')
with ProgressBar():
    # 注意key不要用内置函数type，改为字符串标识
    ddf_result.compute().sort_index().to_hdf(file_path, key='data', format='table')

written = dd.read_hdf(file_path, key='data')

关键说明 #

• reindex(columns=target_columns)会自动为缺失列填充NaN，保证每个分区的DataFrame结构和元数据完全匹配，元数据校验可正常通过
• 原代码中key=type存在风险，type是Python内置函数，改为字符串'data'避免冲突
• 无需设置verify_meta=False，后续操作不会因为结构不一致出现异常

内容的提问来源于stack exchange，提问作者Sam