Python中移除Series重复表头，仅保留首个表头的实现方法

问题场景 #

现有两个Pandas Series（src1和tgt1），其中重复出现表头文本（如src_clmn、tgt_clmn多次作为值存在），导致合并、拼接操作报错。需要将其转换为标准Series：仅保留一个表头，其余行作为有效数据值。

原始Series结构 #

# src1
0                                  src_clmn
0     C001
1        src_clmn
0    DAI0001
1    DAI0002
2    DA...
dtype: object

# tgt1
0                                  tgt_clmn
0     C001
1        tgt_clmn
0    DAI0001
1    DAI0002
2    DA...
dtype: object

期望输出 #

src_clmn
0     C001
1    DAI0001
2    DAI0002
3    DA...
dtype: object

   tgt_clmn
0     C001
1    DAI0001
2    DAI0002
3    DA...
dtype: object

解决方案 #

可以编写通用函数自动处理这类Series，也可以手动指定表头过滤，两种方式如下：

方式一：通用函数处理（适配未知表头） #

import pandas as pd

def clean_duplicate_header(series):
    # 提取表头名称（匹配Series名称与值，取第一个有效表头）
    header = series[series.str.strip() == series.name].iloc[0]
    # 过滤所有等于表头的值
    cleaned_data = series[series != header].reset_index(drop=True)
    # 重构标准Series并返回
    return pd.Series(cleaned_data.values, name=header)

# 处理两个Series
cleaned_src1 = clean_duplicate_header(src1)
cleaned_tgt1 = clean_duplicate_header(tgt1)

# 查看结果
print(cleaned_src1)
print(cleaned_tgt1)

方式二：手动指定表头过滤（已知表头名称时使用） #

# 处理src1
cleaned_src1 = src1[src1 != "src_clmn"].reset_index(drop=True).rename("src_clmn")

# 处理tgt1
cleaned_tgt1 = tgt1[tgt1 != "tgt_clmn"].reset_index(drop=True).rename("tgt_clmn")

步骤说明 #

1. 过滤重复表头：通过条件筛选，排除所有等于表头文本的行；
2. 重置索引：清除原有的混乱索引，生成连续的新索引；
3. 重构Series：设置正确的表头名称，得到标准格式的Series。

内容的提问来源于stack exchange，提问作者Alia