如何使用Selenium Python爬取Yahoo Finance搜索自动联想结果？

我来帮你搞定这个问题！你遇到的核心问题有两个：一是用了动态生成的data-reactid（这个值每次页面加载都会变化，完全不可靠），二是没有等待联想建议框加载完成就直接去获取元素，导致找不到目标内容。下面给你具体的解决方案：

关键思路 #

1. 用稳定的元素属性替代动态的data-reactid定位，比如搜索框的name属性、联想列表的role属性，这些属性不会随页面渲染轻易改变。
2. 使用显式等待确保联想框完全加载并可见，避免页面未渲染完成就执行操作的问题。

修正后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Chrome驱动（可根据自身配置调整）
driver = webdriver.Chrome()
driver.get('https://finance.yahoo.com/')

try:
    # 等待搜索框加载完成并输入关键词
    search_box = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//input[@name='yfin-usr-qry']"))
    )
    search_box.send_keys('goog')

    # 等待联想建议列表可见（这一步是核心，确保弹窗已渲染完成）
    suggestions_container = WebDriverWait(driver, 10).until(
        EC.visibility_of_element_located((By.XPATH, "//div[@id='search-assist-input']//ul[@role='listbox']"))
    )

    # 获取所有联想项并输出
    suggestion_items = suggestions_container.find_elements(By.TAG_NAME, "li")
    print("搜索联想结果：")
    for item in suggestion_items:
        print(f"- {item.text}")

finally:
    # 无论成功失败都关闭浏览器
    driver.quit()

为什么之前的代码失效？ #

• 动态data-reactid不可靠：React生成的data-reactid会随页面组件渲染顺序变化，每次打开页面这个值都不一样，用它定位元素必然失败。
• 缺少等待机制：输入关键词后，联想框需要一点时间加载渲染，直接调用find_elements会因为元素还未出现而返回空列表。
• XPath路径不准确：你原来的XPath没有精准定位到可见的联想列表，改用//div[@id='search-assist-input']//ul[@role='listbox']可以稳定找到目标容器。

内容的提问来源于stack exchange，提问作者bot1