从MongoDB生成Parquet文件时Schema不匹配问题求解

方法1：手动补全缺失字段 #

在从MongoDB获取文档后，为每个缺失group字段的文档补充该字段，值设为None，确保所有文档结构与预定义Schema一致：

# 假设chunk是从MongoDB获取的文档列表
processed_chunk = []
for doc in chunk:
    # 用字典解包补全缺失的group字段，默认值为None
    processed_doc = {"group": None, **doc}
    # 可选：按Schema的字段顺序重新整理文档，避免字段顺序不一致的潜在问题
    processed_doc = {field.name: processed_doc.get(field.name) for field in USER}
    processed_chunk.append(processed_doc)

batch = pa.RecordBatch.from_pylist(processed_chunk)
writer.write_batch(batch)

方法2：创建RecordBatch时指定目标Schema #

直接在from_pylist方法中传入预定义的USER Schema，PyArrow会自动为缺失字段填充null值，无需手动处理文档：

# 传入schema参数，让PyArrow自动对齐字段并填充缺失值
batch = pa.RecordBatch.from_pylist(chunk, schema=USER)
writer.write_batch(batch)

方法3：通过Table转换强制匹配Schema #

如果需要批量处理更复杂的字段对齐场景，可以先将文档列表转为Table，再强制转换到目标Schema：

table = pa.Table.from_pylist(chunk)
# 强制转换为预定义Schema，缺失字段自动填充null
aligned_table = table.cast(USER)
# 转换为RecordBatch后写入
batch = aligned_table.to_batches()[0]
writer.write_batch(batch)

关键说明 #

三种方法的核心逻辑都是保证写入的RecordBatch字段与预定义Schema完全匹配，利用你设置的nullable=True属性，用null填充缺失的group字段。其中方法2是最简洁的实现，推荐优先使用。

内容的提问来源于stack exchange，提问作者MuGh