使用find_elements_by_xpath获取球员列表返回长度0的问题排查

我想从basketball-reference.com的波士顿凯尔特人队2024年阵容页面的Roster表格中提取球员列表。因为各球队球员数量不固定，所以用players_list变量获取球员总数，但打印列表长度时始终返回0，实际应该找到17个匹配元素。相关代码如下：

team_selection = driver.find_element_by_xpath('//td/a[contains(text(), "Boston Celtics")]')
driver.execute_script("arguments[0].click()", team_selection)
players_list = driver.find_elements_by_xpath('//tr/td[@data-stat="player"]')
print(len(players_list))

• 等待页面加载完成：点击球队链接后，页面需要时间渲染Roster表格，直接查找元素会因DOM未加载完成导致匹配失败。添加显式等待确保元素加载：

  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 点击球队后等待球员元素出现
  WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.XPATH, '//tr/td[@data-stat="player"]'))
  )
  players_list = driver.find_elements_by_xpath('//tr/td[@data-stat="player"]')
  print(len(players_list))
  

• 优化XPath定位精度：页面中可能存在多个表格，直接用//tr会匹配到无关行。指定Roster表格的id（该页面表格id为roster）缩小范围：

  players_list = driver.find_elements_by_xpath('//table[@id="roster"]//tr/td[@data-stat="player"]')
  

• 改用静态解析辅助：若动态渲染导致Selenium抓取不稳定，可在页面加载完成后获取源码，用BeautifulSoup解析：

  from bs4 import BeautifulSoup
  
  WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'roster')))
  page_source = driver.page_source
  soup = BeautifulSoup(page_source, 'html.parser')
  players = soup.select('#roster td[data-stat="player"]')
  print(len(players))
  

内容的提问来源于stack exchange，提问作者maxpower8888