使用Pandas read_csv读取TXT文件时表头重复问题咨询

嘿，我来帮你搞定这个Pandas读取TXT文件的表头问题！先梳理下你的情况：你用pd.read_csv读取Data.txt时，设置header=0后得到了重复的列名（比如20052065、20052065 .1直到20052065 .11），而且ELEMENT标签也重复出现，这确实挺头疼的。

问题根源 #

这是因为你的原始文本文件里，作为表头的那一行本身就包含重复的字段名称，Pandas为了避免列名冲突，自动给重复的列名加上了.n后缀来区分。结合你提到的CTF1、CTF2等分组，大概率你的原始文件表头是分组式结构（比如第一行是CTF分组，第二行是对应的编号），但你只指定了一行作为表头，导致Pandas无法识别分组关系。

解决方案 #

根据不同的文件结构，给你两种实用的解决方法：

方法1：读取多级表头（推荐，如果是分组表头）

如果你的原始文件在跳过前4行后，有两行表头（第一行是CTF1/CTF2/...，第二行是20052065/20052065/...），直接设置header=[0,1]让Pandas识别多级表头，这样就能清晰区分不同分组下的相同编号列：

import pandas as pd
# 跳过前4行，用第5、6行作为多级表头
df = pd.read_csv('Data.txt', skiprows=range(0,4), sep='\t', header=[0,1], skipinitialspace=True)

这样列名会变成类似(CTF1, 20052065)、(CTF2, 20052065)的形式，既保留了分组信息，又不会有重复列名的问题。

方法2：手动指定列名（如果是单表头重复）

如果原始文件只有一行表头，但确实存在重复编号，你可以先跳过表头行读取数据，再手动给列名加上分组标识：

import pandas as pd
# 跳过前5行（前4行+原表头行），读取数据时不设表头
df = pd.read_csv('Data.txt', skiprows=range(0,5), sep='\t', skipinitialspace=True, header=None)
# 自定义列名，比如给重复的编号加上CTF分组后缀
# 这里根据你的实际列数调整，示例包含Unnamed:0、ELEMENT和12个CTF分组的列
column_names = ['Unnamed:0', 'ELEMENT']
for i in range(1, 13):
    column_names.append(f'CTF{i}_20052065')
# 剩下的其他列可以继续补充，比如20052066等
column_names += ['20052066', '20052082', '20052087', ...]
# 给DataFrame设置列名
df.columns = column_names

额外小提示

注意你的sep参数写的是' '（制表符），建议换成'\t'，这样代码更规范，也避免因显示问题导致的分隔符错误。

内容的提问来源于stack exchange，提问作者Nils