使用Python Selenium解析Flashscore动态页面的等待条件优化问题

问题原因 #

你原先仅依赖jQuery.active == 0的判断逻辑存在两个缺陷：

• Flashscore的部分异步请求可能未通过jQuery发起，jQuery请求全部完成不代表所有比分相关的接口都返回了结果
• 接口返回结果后前端还需要完成DOM渲染，jQuery请求完成时DOM可能还没生成比分节点

具体优化方法 #

• 优先等待目标业务DOM节点加载完成，而非仅判断请求状态。Flashscore的赛事比分行统一使用event__match类名，你可以直接等待该类的节点出现且可见，这是最符合业务场景的等待条件
• 可以保留原有的jQuery请求判断作为前置条件，和DOM节点判断组合使用，进一步降低误判概率
• 如果需要更稳定，还可以额外判断第一个比分节点内的队名、比分字段是否完成填充，避免只拿到空的容器节点

修改后的示例代码 #

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("https://www.flashscore.com/football/albania/")
try:
    # 先等待jQuery请求完成（保留原有逻辑作为前置）
    WebDriverWait(driver, 30).until(
        lambda s: s.execute_script("return jQuery.active == 0")
    )
    # 新增等待：至少1个赛事比分节点可见
    WebDriverWait(driver, 30).until(
        EC.visibility_of_element_located((By.CLASS_NAME, "event__match"))
    )
    print(driver.page_source)
finally:
    driver.quit()

补充说明 #

如果遇到页面有懒加载的历史赛事，可以在上述等待完成后再执行一次滚动到底部的操作，触发剩余内容加载后再次等待节点数量稳定即可。

内容的提问来源于stack exchange，提问作者olives