Selenium操作NSEIndia期权链页面下拉菜单失效、表格不加载求助

根因说明 #

NSE India官网的下拉选择器绑定了自定义的change事件来触发表格数据异步加载，Selenium原生Select类的选择方法默认不会主动触发这类自定义前端事件，同时该站点有基础的自动化检测机制，未配置对应参数时也可能阻塞页面数据渲染。

修复步骤 #

1. 先配置WebDriver反爬参数 #

避免站点识别到自动化操作拦截请求：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait, Select
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time

chrome_options = Options()
# 禁用自动化检测标记
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option("useAutomationExtension", False)
# 配置正常浏览器UA
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=chrome_options)
wait = WebDriverWait(driver, 30)

2. 替换固定休眠为显式等待，手动触发change事件 #

不要直接用select_by_*方法后直接等待，选择完成后主动触发前端change事件通知页面加载数据：

driver.get("https://www.nseindia.com/option-chain")
# 等待下拉选择器可交互
select_elem = wait.until(EC.element_to_be_clickable((By.ID, 'select_symbol')))
selection = Select(select_elem)

# 选择对应索引选项
selection.select_by_index(3)
# 手动触发change事件，触发数据加载
driver.execute_script("arguments[0].dispatchEvent(new Event('change'))", select_elem)

# 等待表格数据加载完成，可根据页面实际的总计行元素选择器调整
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'tr.fw-bold td.call-col')))

# 此时即可提取call option总计值

3. 遍历所有选项的优化建议 #

• 先获取所有option的文本/值存入列表，再循环遍历每个值进行选择，避免遍历过程中DOM刷新导致元素失效
• 每次选择完成后等待表格加载完成再提取数据，避免读取到上一次的旧数据
• 可适当添加1-2秒的短休眠，避免请求频率过高被站点限制

内容的提问来源于stack exchange，提问作者Kabir Raole