合并表头不同的多个CSV文件的解决方案求助

核心思路 #

先提取主文件的完整表头，再分别将子文件按主表头对齐（缺失列自动填充空值），最后通过逐块读写处理大体积主文件，避免内存溢出和耗时过长的问题。

具体实现步骤 #

1. 提取主文件表头
   只读取主文件的第一行获取完整列名，无需加载整个大文件：

import pandas as pd

# 读取主文件表头（仅第一行）
with open('master.txt', 'r') as f:
    master_columns = f.readline().strip().split()

2. 对齐子文件列
   不管子文件缺失的列在什么位置，通过指定主表头并重新索引，强制对齐列顺序，缺失列自动填充NaN（对应需求的空值）：

# 处理file1
df_file1 = pd.read_csv(
    'file1.txt',
    sep=r'\s+',  # 匹配任意数量空格，适配空格分隔格式
    names=master_columns,
    header=0,
    usecols=lambda col: col in master_columns  # 只保留子文件中存在的列
)
# 强制按主表头顺序排列，缺失列自动填充NaN
df_file1 = df_file1[master_columns]

# 同理处理file2
df_file2 = pd.read_csv(
    'file2.txt',
    sep=r'\s+',
    names=master_columns,
    header=0,
    usecols=lambda col: col in master_columns
)
df_file2 = df_file2[master_columns]

3. 逐块合并大体积主文件与子文件
   通过分块读取主文件，逐块写入结果，再追加子文件数据，避免一次性加载大文件：

# 打开输出文件，先写入表头
with open('merged_output.txt', 'w') as out_file:
    # 写入表头（用空格分隔，保持原格式）
    out_file.write(' '.join(master_columns) + '\n')

    # 逐块读取主文件并写入
    chunk_size = 10000  # 根据内存情况调整块大小
    for chunk in pd.read_csv('master.txt', sep=r'\s+', chunksize=chunk_size):
        # 确保主文件块的列顺序与表头一致
        chunk = chunk[master_columns]
        # 写入块数据，不写表头和索引
        chunk.to_csv(out_file, sep=' ', index=False, header=False)

    # 追加file1数据
    df_file1.to_csv(out_file, sep=' ', index=False, header=False)
    # 追加file2数据
    df_file2.to_csv(out_file, sep=' ', index=False, header=False)

关键说明 #

• 解决列对齐问题：通过df[master_columns]强制重排，无论缺失列在表头的哪个位置，都会自动填充空值，彻底解决之前的失效问题。
• 大文件优化：分块读取主文件避免了一次性加载整个大文件到内存，大幅降低内存占用和处理耗时。
• 空格分隔适配：sep=r'\s+'可以处理任意数量的空格分隔，避免因多空格导致的列识别错误。

内容的提问来源于stack exchange，提问作者Aprajit Mahajan