BeautifulSoup提取HTML表格指定td字段生成结构化列表的解决方法
原代码核心错误定位
- 直接用
tabla.find_all('tr')会同时抓取<thead>内的表头行、<tbody>内的数据行两类节点,表头行的子元素全部是<th>标签、不存在<td>,遍历到这一行时执行row.find('td')会返回None,后续调用.text自然触发NoneType属性错误。 - 用
row.findNext('td')定位相邻字段的逻辑完全错位:findNext是从当前标签位置向后匹配全局DOM节点,不是在当前<tr>的子元素范围内查找相邻td,跨行取值后最终结果会偏移到表格最后一行的内容。
可直接运行的实现代码
# 锁定表格的tbody区域,从根源跳过表头无td的行 tbody = tabla.find('tbody') data_rows = tbody.find_all('tr') extracted_data = [] for row in data_rows: # 取当前行下的所有td元素,按DOM顺序固定索引定位目标字段 tds = row.find_all('td') record = { "Team": tds[0].get_text(strip=True), "Name": tds[1].get_text(strip=True), "Number": tds[2].get_text(strip=True), "Minute": tds[5].get_text(strip=True) } extracted_data.append(record)
逻辑说明
- 所有td节点的查找范围严格限定在当前遍历的tr内部,完全不会出现跨行取值错位的问题
- 按照页面HTML里td的固定排列顺序取索引:位置0对应Team、位置1对应Name、位置2对应Number、位置5对应Minute,自动跳过位置3(Tipo)、4(Motivo)、6(Bloque)的非目标字段
- 全程在tbody节点下遍历,不会接触到表头行的th元素,从根本上避免None类型报错
内容的提问来源于stack exchange,提问作者nokvk
相关产品推荐
相关产品推荐

