如何用Python去除CSV文件中除首个外的多余表头

核心思路 #

Textract提取多表格PDF时，会将每个表格的CSV内容拼接在一起，每个表格开头都带独立表头。我们可以按空行分割成独立表格块，保留第一个表格的表头，后续表格仅保留数据行（剔除自身表头），最终合并为单一表头的标准化CSV。

具体实现代码 #

def clean_textract_csv(table_csv):
    # 按换行分割原始内容，保留空行用于识别表格块边界
    raw_lines = table_csv.split('\n')
    blocks = []
    current_block = []
    
    # 将内容拆分位多个独立表格块（每个块由连续非空行组成）
    for line in raw_lines:
        stripped_line = line.strip()
        if stripped_line:
            # 保留原始行的格式（包括末尾分号）
            current_block.append(line.rstrip('\n'))
        else:
            if current_block:
                blocks.append(current_block)
                current_block = []
    # 处理最后一个未闭合的表格块
    if current_block:
        blocks.append(current_block)
    
    processed_lines = []
    if blocks:
        # 保留第一个表格的完整内容（表头+所有数据行）
        processed_lines.extend(blocks[0])
        # 后续表格仅保留数据行，跳过自身表头
        for block in blocks[1:]:
            if len(block) > 1:
                processed_lines.extend(block[1:])
    
    # 合并为干净的CSV字符串，结尾添加换行保证格式规范
    return '\n'.join(processed_lines) + '\n'

# 调用示例（替换为你的Textract返回的table_csv内容）
clean_csv = clean_textract_csv(table_csv)
# 写入文件（单个PDF处理用'wt'覆盖；若需追加多个PDF，需额外处理表头一致性）
with open("file_name.csv", "wt", encoding='utf-8') as fout:
    fout.write(clean_csv)

关键细节说明 #

1. 无依赖通用适配：无需提前知晓表头内容，仅通过表格块的位置判断表头（第一个块的第一行作为唯一保留的表头），适配任意PDF的表头格式。
2. 原始格式保留：全程保留原始行的分隔符（分号）和内容格式，避免破坏CSV的结构完整性。
3. 空行容错：自动过滤内容中的空行，同时利用空行准确分割独立表格块，避免误判表头行。

特殊场景补充 #

如果后续表格的数据行列数与第一个表头不一致（列数多/少），可根据业务需求添加列对齐逻辑：

• 列数更少：用;自动补全缺失列，匹配表头列数
• 列数更多：可选择截断多余列，或保留并在表头末尾补充默认列名

内容的提问来源于stack exchange，提问作者Gabriel Menezes