如何用Python清理HTML表格中重复出现的表头行？

可行性判断 #

你的思路完全可行——通过判断每行首个单元格内容是否为“Player”来删除重复的表头行，是精准且直接的处理方式。这类重复行的首单元格固定为“Player”，刚好可以作为识别标记。

另外，因为这类行本身带有固定的thead类，还可以直接通过筛选class属性批量移除，效率会更高，两种方式都能实现需求。

代码实现 #

基于你已有的代码，补充两种处理方式：

方式一：按首单元格内容判断移除 #

from bs4 import BeautifulSoup
import pandas as pd
import requests
import string

years = list(range(2023, 2024))
alphabet = list(string.ascii_lowercase)

# 获取页面并保存
lastname_a = 'a'
url = f'https://www.basketball-reference.com/players/{lastname_a}'
data = requests.get(url)
with open(f"player_names/lastname_{lastname_a}.html", "w+", encoding="utf-8") as f:
    f.write(data.text)

# 读取页面并解析
with open(f"player_names/lastname_{lastname_a}.html", encoding="utf-8") as f:
    page = f.read()

soup = BeautifulSoup(page, "html.parser")

# 找到目标表格（示例用id为players的表格，需根据实际页面调整）
player_table = soup.find('table', id='players')

# 遍历所有行，移除首单元格为"Player"的行
rows = player_table.find_all('tr')
for row in rows:
    first_cell = row.find(['th', 'td'])  # 首单元格可能是th或td标签
    if first_cell and first_cell.get_text(strip=True) == 'Player':
        row.decompose()  # 从DOM树中彻底移除该行

# 可选：将处理后的表格转为DataFrame
df = pd.read_html(str(player_table))[0]
print(df.head())

方式二：直接按class批量移除（更高效） #

利用重复表头行固定的thead类，直接筛选并移除：

# 承接前面的soup解析代码
player_table = soup.find('table', id='players')

# 批量移除所有class为thead的行
for duplicate_header in player_table.find_all('tr', class_='thead'):
    duplicate_header.decompose()

# 可选：转为DataFrame
df = pd.read_html(str(player_table))[0]
print(df.head())

注意事项 #

• 确保目标表格的选择器正确（示例用id='players'，需根据实际页面结构调整）
• 使用get_text(strip=True)可去除单元格内容的空格、换行，避免匹配失败
• decompose()会彻底从BeautifulSoup的DOM树中删除元素，不影响后续处理

内容的提问来源于stack exchange，提问作者Thanos of Siberia