如何用更Pythonic的方式过滤DataFrame中的重复表头行？

假设你的DataFrame为df，要过滤掉那些指定列值与对应列名完全匹配的重复表头行，直接用布尔掩码结合行判断即可实现简洁处理：

场景1：检查前13列是否全部匹配列名 #

# 生成掩码：前13列所有值等于对应列名的行标记为True
mask = (df.iloc[:, :13] == df.columns[:13]).all(axis=1)
# 过滤掉重复表头行，保留有效数据
df_cleaned = df[~mask]

场景2：仅检查前N列（比如前5列）匹配就删除 #

如果只要求前几列匹配就过滤（如你示例中前5列匹配、第6列address不影响的情况），只需调整列范围：

# 仅校验前5列是否全匹配列名
mask = (df.iloc[:, :5] == df.columns[:5]).all(axis=1)
df_cleaned = df[~mask]

代码说明 #

• df.iloc[:, :13] == df.columns[:13]：逐元素比较指定列的每个值与对应列名，生成布尔型DataFrame
• .all(axis=1)：按行判断，只有当该行指定列的所有比较结果为True时，返回True（即该行是重复表头）
• ~mask：对掩码取反，保留非重复表头的有效行

这种写法无需循环或复杂逻辑，完全符合Python简洁高效的风格。

内容的提问来源于stack exchange，提问作者canconfirm24