如何使用Pandas合并CSV后删除含Unnamed的列并导出清洗后的CSV

• 清洗逻辑未落地：脚本执行列筛选切片操作后，未将筛选结果重新赋值给数据框，后续导出环节仍在使用未经清洗的原始合并数据，删除冗余列的步骤完全没有实际生效
• 列名匹配规则失效：df_merged.columns.str.match('Unnamed') 是从字符串起始位置的严格正则匹配，且默认对大小写敏感，既无法匹配到小写开头的unnamed:1这类列名，也容易因大小写差异漏判冗余列
• 导出逻辑存在隐患：原脚本导出CSV时未设置index=False，会将Pandas的行索引作为新列写入文件，额外生成新的Unnamed: 0类冗余列
• 存在无实际作用的孤立代码：单独打印列名、执行切片后未做落地的代码块，不影响运行但会造成流程逻辑混乱

import os, glob
import pandas as pd

path= "/home/CaptainSnake/Desktop/Test_class/class_data"

all_files = glob.glob(os.path.join(path, "Classification_testData_*.csv"))
df_from_each_file = (pd.read_csv(f, sep=',') for f in all_files)
# 合并所有匹配规则的CSV文件
df_merged = pd.concat(df_from_each_file, ignore_index=False, sort=False)
# 生成列名匹配掩码：不区分大小写识别所有含Unnamed的列，na=False兼容空列名避免报错
col_mask = df_merged.columns.str.contains('Unnamed', case=False, na=False)
# 移除所有匹配到的冗余列，将清洗结果回写至数据框
df_cleaned = df_merged.loc[:, ~col_mask]
# 导出清洗后的文件，关闭行索引写入
df_cleaned.to_csv("Classification_testData_cleaned.csv", index=False)

• 自动遍历目标路径下所有符合Classification_testData_*.csv命名规则的文件完成合并
• 合并完成后自动识别所有列名包含“Unnamed”（不区分大小写）的冗余列并全部移除，可覆盖列名格式为unnamed:1的冗余字段
• 导出时不写入Pandas行索引，避免生成新的冗余列
• 清洗结果保存为独立的新文件，不会覆盖原始CSV数据

内容的提问来源于stack exchange，提问作者TforV