You need to enable JavaScript to run this app. 使用BeautifulSoup与Selenium爬取NBA官网球员高阶传球数据报错求助
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup与Selenium爬取NBA官网球员高阶传球数据报错求助

爬虫代码报错排查与修正方案
  • URL参数存在转义错误:代码中请求地址直接写入HTML实体转义后的&作为参数分隔符,实际浏览器发起请求时会将&解析为普通文本字符,无法正确传递赛季、球队ID的筛选条件,最终页面无法加载对应2019-20赛季湖人的传球统计内容,目标表格节点也无法被正常匹配。修正时直接使用原生&分隔URL参数即可,无需额外写入转义字符。
  • BeautifulSoup调用逻辑错位:代码中已将页面解析结果赋值给变量s,但后续提取表头、单元格时,直接调用作为类别名的soup执行find_all操作,而非已加载完成的页面对象,运行时会直接触发类型错误。
  • 缺失动态渲染等待逻辑:NBA官网的统计表格是前端JS动态生成的内容,若不等待表格节点完全加载就直接读取页面源码,会因DOM节点未渲染导致解析结果为空。
  • 数据提取逻辑作用域错误:原代码的表格行循环中,单元格查找没有限定在当前遍历的<tr>标签范围内,每次循环都会抓取全页面的所有<td>内容,完全无法匹配对应行的真实球员数据。

修正后的可运行参考代码:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as soup 

# 初始化Chrome驱动
d = webdriver.Chrome('C:/chromedriver.exe')
# 修正转义错误后的目标请求地址
target_url = 'https://www.nba.com/stats/players/passing/?Season=2019-20&SeasonType=Regular%20Season&TeamID=1610612747'
d.get(target_url)

# 显式等待目标表格加载完成,最长等待10秒
WebDriverWait(d, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, 'nba-stat-table__overflow'))
)

# 解析当前页面源码
page_soup = soup(d.page_source, 'html.parser')
target_table = page_soup.find('table', {'class':'nba-stat-table__overflow'})

# 提取表头内容
headers = [th.get_text(strip=True) for th in target_table.find_all('th')]
# 逐行提取数据
final_data = []
for row in target_table.find_all('tr'):
    cells = row.find_all('td')
    row_content = [cell.get_text(strip=True) for cell in cells]
    # 过滤空行
    if len(row_content) > 1:
        final_data.append(row_content)

print(headers)
print(final_data)
d.quit()

内容的提问来源于stack exchange,提问作者kgrab

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 01:15:03