使用Python Selenium抓取纽交所IPO表格元素失败求助

问题排查与解决 #

核心原因分析

1. 页面加载时序不匹配：headless模式下直接执行元素查找时，表格的行/列还没完成动态渲染，但Chrome检查模式下页面已完全加载，所以能定位到元素。
2. 绝对XPath过于脆弱：/html/body/...这类绝对路径完全依赖DOM层级结构，只要页面有微小调整（比如新增容器div）就会失效；缩短到tbody时范围更大，刚好匹配到已加载的容器节点。
3. Headless模式被反爬识别：默认的headless Chrome特征明显，网站可能限制这类请求，导致部分动态内容未正常加载。

优化方案与代码

1. 改用相对定位+显式等待：用基于元素属性的相对XPath定位表格，配合显式等待确保元素加载完成，解决时序问题。
2. 优化Headless配置：添加浏览器标识、设置窗口大小，模拟真实访问环境，规避反爬检测。
3. 抛弃绝对XPath：优先使用data-testid、class等属性定位，提升代码稳定性。

优化后的代码：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ChromeOptions

options = ChromeOptions()
options.add_argument("--headless=new")
# 模拟真实浏览器标识与窗口尺寸
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
options.add_argument("--window-size=1920,1080")
# 禁用自动化特征标识，降低反爬概率
options.add_argument("--disable-blink-features=AutomationControlled")

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
driver.get("https://www.nyse.com/ipo-center/recent-ipo")

try:
    # 显式等待目标元素加载，最长等待10秒
    # 用网站测试专用的data-testid属性定位表格，稳定性更高
    target_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//table[@data-testid='recent-ipos-table']/tbody/tr[1]/td[1]"))
    )
    print(f"找到元素数量：{len(driver.find_elements(By.XPATH, '//table[@data-testid=\"recent-ipos-table\"]/tbody/tr[1]/td[1]'))}")
    print(f"元素内容：{target_element.text}")
finally:
    driver.quit()

额外说明

• 显式等待WebDriverWait会轮询检查元素状态，直到超时，彻底解决页面加载慢导致的元素未渲染问题。
• 使用data-testid定位表格是因为这类属性是网站专为测试预留的，不会随样式调整轻易变动，比class或绝对路径更可靠。

内容的提问来源于stack exchange，提问作者Leopoldo Moreira