如何在合并多CSV文件时过滤DataFrame中指定文本行？

核心思路是在合并前先逐个处理每个CSV文件，把列名设置和不需要的行删除操作放在读取文件的阶段完成，而不是等到concat时再过滤。这样既高效又能避免合并后出现的列名混乱问题。

具体步骤与代码示例 #

假设你之前已经通过skiprows跳过了每个文件顶部的无关文本，现在剩余内容的前三行分别是「变量名行」、「待删除文本行1」、「待删除文本行2」，后续都是数值数据。

1. 定义单个CSV文件的处理函数

import pandas as pd
import numpy as np
import glob

def process_single_csv(file_path):
    # 读取文件，跳过你之前处理的顶部文本行（替换成你实际的skiprows数值）
    raw_df = pd.read_csv(file_path, skiprows=你的顶部文本行数)
    
    # 将第一行设为DataFrame的列名
    raw_df.columns = raw_df.iloc[0]
    
    # 从第二行开始取数据，同时删除前两行（即原来的第2、3行文本行）
    # 注意：raw_df[1:]后，原第2行的索引变为1，原第3行索引变为2
    cleaned_df = raw_df[1:].drop(index=[1, 2])
    
    # 执行你之前的空值处理逻辑
    cleaned_df = cleaned_df.replace(np.nan, pd.NA).dropna()
    
    # 可选：清理列名的空格或特殊字符，避免后续合并出问题
    cleaned_df.columns = cleaned_df.columns.str.strip()
    
    return cleaned_df

2. 批量处理所有CSV并合并

# 获取目标文件夹下所有CSV文件路径
csv_files = glob.glob("你的CSV文件路径/*.csv")

# 逐个处理文件并收集结果
processed_dataframes = [process_single_csv(file) for file in csv_files]

# 合并所有处理好的DataFrame
final_df = pd.concat(processed_dataframes, ignore_index=True)

关键说明 #

• concat本身是合并操作，不适合做行过滤逻辑，预处理单个文件是更合理的选择，能保证每个文件的结构统一后再合并。
• 如果不同CSV文件的待删除行位置有差异，可以在函数里增加判断逻辑（比如检查行内容是否为文本），但前提是你能找到待删除行的统一特征（比如包含特定关键词）。

内容的提问来源于stack exchange，提问作者Jonathan