使用Beautiful Soup抓取HTML表格中带链接的可读表头遇到问题

• 原代码最后一段循环存在两处逻辑错误：
  1. 遍历对象选错：你遍历的是表头行内的所有<a>标签，但不是所有表头<th>都嵌套<a>标签，会直接漏掉部分表头条目
  2. 取值逻辑错误：data-vo-id是自定义属性，本身就不是你需要的人类可读文本内容，且该属性在目标页面的表头<a>标签中不存在

直接遍历每个表头<th>标签，调用get_text()方法提取标签包裹的文本内容即可，你可以根据需要选择直接存为列表，或者和之前拿到的id关联存为字典。

修复后完整可运行代码 #

import requests
from bs4 import BeautifulSoup

url = 'https://web.dsa.missouri.edu/static/mirror_sites/factfinder.census.gov/bkmk/table/1.0/en/GEP/2014/00A4/0100000US.html'
r = requests.get(url)
# 显式指定解析器避免环境差异导致的警告
soup = BeautifulSoup(r.content, "html.parser")
table = soup.find(id='data')  

trs = table.find_all('tr')
header_row = trs[0]

# 同时提取th的id和对应的可读表头文本
header_info = []
for th in header_row.find_all('th'):
    th_id = th.attrs.get('id', '')
    # strip参数用于去除文本前后的空格、换行符等空白字符
    th_text = th.get_text(strip=True)
    header_info.append({
        'th_id': th_id,
        'header_text': th_text
    })

# 打印结果验证
for item in header_info:
    print(f"id: {item['th_id']}, 表头文本: {item['header_text']}")

内容的提问来源于stack exchange，提问作者user16443752