如何避免Pandas写入CSV时每个Chunk重复输出格式化表头

这个问题我之前也碰到过！核心问题就是分块写入时没控制好表头的输出时机——只需要在第一次写入的时候输出格式化后的表头，后续的分块直接追加数据就行。给你两种常见的实现方案：

方案一：使用Pandas分块处理（适合大数据量场景） #

Pandas的read_csv支持分块读取，搭配一个标志位就能轻松控制表头输出：

import pandas as pd
import re

# 你已经格式化好的表头列表
formatted_headers = ["用户ID", "订单编号", "交易金额"]
# 标志位：记录表头是否已写入
header_written = False

# 分块读取原CSV，skiprows=1 跳过原表头行，chunksize按需调整
for chunk in pd.read_csv("原始数据.csv", skiprows=1, chunksize=1000):
    # --- 这里执行你的正则处理逻辑 ---
    # 示例：对"订单编号"列清理非数字字符
    chunk["订单编号"] = chunk["订单编号"].apply(lambda x: re.sub(r"\D", "", str(x)))
    # 其他列的正则处理...
    
    # --- 控制写入逻辑 ---
    if not header_written:
        # 第一次写入：输出格式化表头，创建新文件
        chunk.to_csv("处理后数据.csv", header=formatted_headers, index=False)
        header_written = True
    else:
        # 后续写入：以追加模式写入，不输出表头
        chunk.to_csv("处理后数据.csv", mode="a", header=False, index=False)

关键细节： #

• skiprows=1确保跳过原CSV的混乱表头，只读取数据行
• 第一次写入时指定header=formatted_headers，后续追加时header=False避免重复
• index=False防止写入不必要的索引列

方案二：使用标准库csv模块（轻量无依赖） #

如果不想用Pandas，Python内置的csv模块也能实现相同逻辑：

import csv
import re

formatted_headers = ["用户ID", "订单编号", "交易金额"]
header_written = False
chunk_size = 1000  # 每块处理的行数

with open("原始数据.csv", "r", newline="") as infile, \
     open("处理后数据.csv", "w", newline="") as outfile:
    
    reader = csv.reader(infile)
    writer = csv.writer(outfile)
    
    # 跳过原CSV的表头行
    next(reader)
    
    while True:
        chunk = []
        # 读取当前块的行
        try:
            for _ in range(chunk_size):
                row = next(reader)
                # --- 正则处理当前行 ---
                # 示例：清理交易金额中的非数字和小数点字符
                row[2] = re.sub(r"[^\d.]", "", row[2])
                chunk.append(row)
        except StopIteration:
            # 读取到文件末尾，退出循环
            pass
        
        if not chunk:
            break
        
        # 写入表头（仅第一次）
        if not header_written:
            writer.writerow(formatted_headers)
            header_written = True
        # 写入当前块的处理后数据
        writer.writerows(chunk)

关键细节： #

• newline=""是csv模块的推荐写法，避免不同系统下的换行符混乱
• 用next(reader)跳过原表头，确保后续读取的都是数据行
• 通过try-except StopIteration处理文件末尾的剩余行

两种方案的核心思路都是用一个布尔变量跟踪表头是否已写入，确保只有第一次分块写入时输出格式化后的表头，后续分块只追加数据行，这样就不会出现重复表头的问题了。

内容的提问来源于stack exchange，提问作者metersk