如何移除Pandas DataFrame每行中重复出现的表头名称

异常产生原因 #

该问题本质是pandas.read_html()的自动表头识别逻辑与目标HTML表格的实际结构不匹配，常见触发场景有三类：

• HTML表格本身不规范：未使用独立的<thead>标签块封装表头行，所有表头<th>标签分散写在每一条数据行的行首，pandas解析时会将这些行内的表头内容判定为普通数据
• 特殊表格结构干扰识别：原表格存在跨行/跨列的合并单元格、多级表头等复杂结构，pandas自动定位表头行失败，错误将表头行划入数据区，同时又将提取到的表头值作为列名，最终表现为每一行数据前都拼接了表头内容
• 参数配置错误：调用read_html时手动设置的header、skiprows参数与表格实际结构不符，导致表头行未被正确识别为列名，反而被当作普通数据重复加载

可行解决方案 #

• 显式指定表头与跳过行
  先核对HTML表格中真实表头、数据起始位置对应的行号，通过参数明确告诉pandas解析规则，避免自动识别出错：

  import pandas as pd
  # 示例：真实表头在第0行，第1行是重复的冗余表头需跳过，数据从第2行开始
  table_list = pd.read_html("target.html", header=0, skiprows=[1])
  df = table_list[0] # 取出目标表格，多表格场景可调整索引
  

  注意：read_html默认返回页面内所有解析到的表格组成的列表，必须通过索引筛选出你需要的目标表格

• 关闭自动识别后手动清洗
  对结构混乱、自动识别完全失效的表格，可先全量读取所有内容，再手动提取列名、删除重复的表头行：

  import pandas as pd
  table_list = pd.read_html("target.html", header=None)
  df = table_list[0]
  # 取第一行作为列名
  df.columns = df.iloc[0].to_list()
  # 删除所有内容和列名完全一致的重复表头行，重置索引
  df = df[df.ne(df.columns).any(axis=1)].reset_index(drop=True)
  

• 预处理HTML源码修正结构
  如果是HTML本身写法错误（比如每一条数据行都嵌套了<th>标签），可先用BeautifulSoup修正标签结构后再交给pandas解析：

  import pandas as pd
  from bs4 import BeautifulSoup
  
  # 读取HTML文件
  with open("target.html", "r", encoding="utf-8") as f:
      soup = BeautifulSoup(f.read(), "lxml")
  # 定位目标表格
  table = soup.find("table")
  # 将数据区内所有th标签替换为普通td标签，避免被识别为表头
  for row in table.tbody.find_all("tr"):
      for th in row.find_all("th"):
          th.name = "td"
  # 解析修正后的表格
  table_list = pd.read_html(str(table), header=0)
  df = table_list[0]
  

内容的提问来源于stack exchange，提问作者Amit