使用BeautifulSoup与Selenium爬取NBA官网球员高阶传球数据报错求助
爬虫代码报错排查与修正方案
- URL参数存在转义错误:代码中请求地址直接写入HTML实体转义后的
&作为参数分隔符,实际浏览器发起请求时会将&解析为普通文本字符,无法正确传递赛季、球队ID的筛选条件,最终页面无法加载对应2019-20赛季湖人的传球统计内容,目标表格节点也无法被正常匹配。修正时直接使用原生&分隔URL参数即可,无需额外写入转义字符。 - BeautifulSoup调用逻辑错位:代码中已将页面解析结果赋值给变量
s,但后续提取表头、单元格时,直接调用作为类别名的soup执行find_all操作,而非已加载完成的页面对象,运行时会直接触发类型错误。 - 缺失动态渲染等待逻辑:NBA官网的统计表格是前端JS动态生成的内容,若不等待表格节点完全加载就直接读取页面源码,会因DOM节点未渲染导致解析结果为空。
- 数据提取逻辑作用域错误:原代码的表格行循环中,单元格查找没有限定在当前遍历的
<tr>标签范围内,每次循环都会抓取全页面的所有<td>内容,完全无法匹配对应行的真实球员数据。
修正后的可运行参考代码:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from bs4 import BeautifulSoup as soup # 初始化Chrome驱动 d = webdriver.Chrome('C:/chromedriver.exe') # 修正转义错误后的目标请求地址 target_url = 'https://www.nba.com/stats/players/passing/?Season=2019-20&SeasonType=Regular%20Season&TeamID=1610612747' d.get(target_url) # 显式等待目标表格加载完成,最长等待10秒 WebDriverWait(d, 10).until( EC.presence_of_element_located((By.CLASS_NAME, 'nba-stat-table__overflow')) ) # 解析当前页面源码 page_soup = soup(d.page_source, 'html.parser') target_table = page_soup.find('table', {'class':'nba-stat-table__overflow'}) # 提取表头内容 headers = [th.get_text(strip=True) for th in target_table.find_all('th')] # 逐行提取数据 final_data = [] for row in target_table.find_all('tr'): cells = row.find_all('td') row_content = [cell.get_text(strip=True) for cell in cells] # 过滤空行 if len(row_content) > 1: final_data.append(row_content) print(headers) print(final_data) d.quit()
内容的提问来源于stack exchange,提问作者kgrab
相关产品推荐
相关产品推荐

