如何使用Selenium获取HTML代码中不存在的弹出菜单隐藏数据
Selenium获取动态加载历史赔率的方法
你遇到的情况是因为历史赔率属于点击后异步加载的动态内容,不会预先写入静态HTML源码,只有触发点击操作后才会请求后端数据并渲染到弹窗DOM中,按以下步骤操作即可抓取:
- 初始化Selenium驱动时做好基础反爬配置,设置真实的User-Agent,避免被站点反爬机制拦截,可根据需求选择是否开启无头模式。
- 定位到你需要查看历史数据的对应赔率条目元素,调用
click()方法触发点击事件,唤起历史赔率弹窗。 - 点击后使用
WebDriverWait配置显式等待规则,等待弹窗内的历史赔率容器元素加载完成、处于可见状态,不要使用固定时长的sleep,避免因网络波动导致数据未加载完成就执行提取操作。 - 弹窗元素加载完成后,正常定位弹窗内的历史赔率行、字段元素,逐行提取你需要的时间、赔率变动值等数据即可。
示例代码参考(Python)
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 初始化驱动 options = webdriver.ChromeOptions() options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36") driver = webdriver.Chrome(options=options) driver.get("你的目标页面地址") # 点击对应赔率项 odds_item = driver.find_element(By.CSS_SELECTOR, "你定位到的赔率项选择器") odds_item.click() # 等待历史赔率弹窗加载 wait = WebDriverWait(driver, 10) history_container = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "历史赔率容器的选择器"))) # 提取历史数据 history_rows = history_container.find_elements(By.CSS_SELECTOR, "历史行选择器") for row in history_rows: # 提取你需要的字段,比如时间、赔率值 time = row.find_element(By.CSS_SELECTOR, "时间字段选择器").text odds_value = row.find_element(By.CSS_SELECTOR, "赔率字段选择器").text print(time, odds_value) driver.quit()
注意:页面元素的CSS选择器需要你根据实际页面结构替换,站点更新后选择器也可能变动,需自行调整。
内容的提问来源于stack exchange,提问作者Jean Miklau
相关产品推荐
相关产品推荐

