CSV表头合并与缺失值补0及Pandas解析报错解决求助

问题分析 #

你需要将所有CSV文件的表头统一为reference.csv的完整表头，缺失列的数据行填充0。之前的两种方案存在核心问题：

1. csv模块代码：循环逻辑错误（遍历文件路径字符串而非目标CSV文件）、参考表头读取路径错误（误用reference.txt而非需求中的reference.csv）、列插入逻辑易导致重复操作。
2. Pandas代码：未指定CSV分隔符为;（你的CSV采用分号分隔）、未处理字段数不一致的行引发解析错误、表头对齐逻辑完全错误（错误拼接表头行而非对齐列）。

方案一：修复后的csv模块实现 #

无需额外依赖，适合大文件或需要精细控制的场景：

import os
import csv

# 获取脚本所在目录
script_dir = os.path.dirname(__file__)
# 参考表头文件路径
ref_path = os.path.join(script_dir, "reference.csv")

# 读取参考表头
with open(ref_path, "r", newline="", encoding="utf-8") as f:
    ref_header = next(csv.reader(f, delimiter=";"))
ref_col_set = set(ref_header)

# 遍历目录下所有CSV文件，排除reference.csv本身
for filename in os.listdir(script_dir):
    if not filename.endswith(".csv") or filename == "reference.csv":
        continue
    file_path = os.path.join(script_dir, filename)
    
    # 读取当前CSV数据
    rows = []
    with open(file_path, "r", newline="", encoding="utf-8") as f:
        reader = csv.reader(f, delimiter=";")
        # 获取原表头并建立列索引映射
        original_header = next(reader)
        original_col_map = {col: idx for idx, col in enumerate(original_header)}
        # 写入新表头
        rows.append(ref_header)
        # 处理每一行数据
        for row in reader:
            new_row = []
            for col in ref_header:
                if col in original_col_map:
                    # 存在的列取对应值，字段数不足时补0
                    val = row[original_col_map[col]] if original_col_map[col] < len(row) else "0"
                    new_row.append(val)
                else:
                    # 缺失的列直接补0
                    new_row.append("0")
            rows.append(new_row)
    
    # 将处理后的数据写回文件
    with open(file_path, "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f, delimiter=";")
        writer.writerows(rows)
    print(f"处理完成：{filename}")

方案二：修复后的Pandas实现 #

彻底解决解析错误，同时高效完成表头对齐与补0：

关键修复点 #

• 指定CSV分隔符为;
• 添加on_bad_lines='skip'跳过字段数不一致的行（也可改用on_bad_lines='warn'仅输出警告）
• 用reindex方法正确对齐参考表头，缺失列自动填充0

import pandas as pd
import os

script_dir = os.path.dirname(__file__)
ref_path = os.path.join(script_dir, "reference.csv")

# 仅读取参考表头（无需加载数据行）
ref_df = pd.read_csv(ref_path, delimiter=";", nrows=0)
ref_columns = ref_df.columns.tolist()

# 遍历所有CSV文件
for filename in os.listdir(script_dir):
    if not filename.endswith(".csv") or filename == "reference.csv":
        continue
    file_path = os.path.join(script_dir, filename)
    
    # 读取CSV并处理解析异常
    try:
        df = pd.read_csv(
            file_path,
            delimiter=";",
            on_bad_lines='skip',
            encoding="utf-8"
        )
    except Exception as e:
        print(f"读取{filename}出错：{str(e)}")
        continue
    
    # 对齐到参考表头，缺失列填充0
    df = df.reindex(columns=ref_columns, fill_value=0)
    
    # 写回文件
    df.to_csv(file_path, sep=";", index=False, encoding="utf-8")
    print(f"处理完成：{filename}")

验证示例 #

针对你提供的测试文件：

• reference.csv：

  a;b;c;d
  

• File1.csv：

  a;c 
  45;68
  

处理后File1.csv会变为：

a;b;c;d
45;0;68;0

内容的提问来源于stack exchange，提问作者Marius