Python Pandas合并CSV文件问题：大文件列识别异常致.drop()报错

嘿，这是Pandas处理CSV时的常见坑——小文件正常但大文件所有列被揉成一列，本质是大文件的分隔符和Pandas默认的逗号不匹配，或者存在特殊格式（比如带引号的字段）导致解析出错，自然drop()找不到目标列。下面给你一步步解决：

1. 先搞清楚大CSV的分隔符 #

先打开出问题的大CSV文件看看：

• 是不是用分号;分隔的？很多欧洲地区的CSV会这么干
• 还是制表符\t？或者其他自定义分隔符？
• 也有可能是字段里包含逗号，用引号包裹了，导致Pandas误判

2. 修改读取代码，精准解析列 #

根据你的情况，给你几个可行的修改方案：

方案一：直接指定正确的分隔符 #

如果你已经确认分隔符是分号，直接在read_csv里加sep=';'：

import pandas as pd
import glob

path = r'path to csv files'
all_files = glob.glob(path + "/*.csv")
li = [] 

for filename in all_files:
    # 这里把sep改成你实际的分隔符，比如;、\t等
    df = pd.read_csv(filename, index_col=None, header=0, sep=';')
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)
frame = frame.drop(columns=['column_name'])
# 保存时加index=False，避免多余的索引列
frame.to_csv('/path to save final csv/new_file.csv', index=False)
print(frame)

方案二：让Pandas自动猜分隔符 #

不确定分隔符的话，用engine='python'配合sep=None，让Pandas自动推断：

df = pd.read_csv(filename, index_col=None, header=0, sep=None, engine='python')

方案三：处理带引号的特殊字段 #

如果CSV里有带引号的字段（比如某个字段值是"John, Doe"），需要指定引号规则，记得先导入csv模块：

import csv
# ...其他代码
df = pd.read_csv(filename, index_col=None, header=0, sep=',', quoting=csv.QUOTE_ALL)

3. 快速验证解析是否正确 #

可以在循环里加一行打印，确认每个文件的列是否正常：

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0, sep=';')
    print(f"文件 {filename} 的列：{df.columns.tolist()}")
    li.append(df)

这样一眼就能看到哪个文件解析出问题了。

额外小贴士 #

• 保存合并后的CSV时，一定要加index=False，不然会多出来一列索引，后续处理也麻烦
• 如果遇到中文乱码，试试加encoding='utf-8'或者encoding='gbk'参数

内容的提问来源于stack exchange，提问作者adarshks