Selenium爬取Yahoo Finance分析师目标价失败问题求助

问题描述 #

为完成学校项目，需从Yahoo Finance获取特定股票的分析师目标价估值。使用BeautifulSoup因页面JS渲染失败，转而用Selenium，但通过XPATH定位元素时始终报错“元素不存在”，即使延长WebDriverWait等待时长至2分钟仍无效。

原代码如下：

from selenium import webdriver 
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--no-sandbox') 
chrome_options.add_argument("--headless")
chrome_options.add_argument(f'user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36')
chrome_options.add_argument("window-size=1920,1080")

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://finance.yahoo.com/quote/BBAJIOO.MX?.tsrc=fin-srch")
driver.delete_all_cookies()

WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="Col2-11-QuoteModule-Proxy"]/div/section/div')))

目标元素示例HTML：

<div aria-label="Low  60 Current  64.59 Average  69.25 High  76.8" class="Px(10px)">
    <div class="Pos(r) Pb(30px) H(1em)">
        <div class="Start(75%) W(25%) Pos(a) H(1em) Bdbc($seperatorColor) Bdbw(2px) Bdbs(d) T(30px)"></div>
        <div class="Pos(a) H(1em) Bdbc($seperatorColor) Bdbw(2px) Bdbs(s) T(30px) W(100%)"></div>
        <div class="Pos(a) D(ib) T(35px)" data-test="analyst-cur-tg" style="left: 27.3214%;">
            <div class="W(7px) H(7px) Bgc($linkActiveColor) Bdrs(50%) Z(1) B(-5px) Translate3d($half3dTranslate) Pos(r)"></div>
            <div class="Bgc($linkActiveColor) Start(0) T(5px) W(1px) H(17px) Z(0) Pos(r)"></div>
            <div class="Miw(100px) T(6px) C($linkActiveColor) Pos(r) Fz(s) Fw(500) D(ib) Ta(c) Translate3d($half3dTranslate)"><span>Current</span>&nbsp;<span>64.59</span></div>
        </div>
        <div class="Pos(a) D(ib) T(-1px)" data-test="analyst-avg-tg" style="left: 55.0595%;">
            <div class="Pos(r) T(5px) Miw(100px) Fz(s) Fw(500) D(ib) C($primaryColor)Ta(c) Translate3d($half3dTranslate)"><span>Average</span>&nbsp;<span>69.25</span></div>
            <div class="Pos(r) Bgc($tertiaryColor) W(1px) H(17px) Z(0) T(6px) Start(-1px)"></div>
            <div class="W(8px) H(8px) Bgc(t) Bd Bdc($seperatorColor) Bdrs(50%) Z(1) B(-6px) Pos(r) Translate3d($half3dTranslate)"></div>
        </div><span class="W(6px) H(6px) Bgc($tertiaryColor) Bdrs(50%) Z(0) B(-5px) Start(0) Pos(a) Translate3d($half153dTranslate)"></span><span class="W(6px) H(6px) Bgc($tertiaryColor) Bdrs(50%) Z(0) B(-5px) Pos(a) Translate3d($zero153dTranslate) Start(100%)"></span></div>
    <div class="Ov(a) Fz(xs) Mt(10px) C($tertiaryColor)">
        <div class="Pos(r) Fl(start) Fz(xs) C($tertiaryColor) "><span>Low</span>&nbsp;<span>60.00</span></div>
        <div class="Pos(r) Fl(end) Fz(xs) C($tertiaryColor) "><span>High</span>&nbsp;<span>76.80</span></div>
    </div>
</div>

失败原因 #

• 依赖动态生成的ID：原XPATH中的Col2-11-QuoteModule-Proxy是页面动态生成的ID，每次加载都会变化，无法稳定定位元素。
• 过早删除Cookie：页面加载后立即执行driver.delete_all_cookies()，破坏了网站的会话状态，导致动态内容无法正常加载。
• 未处理Cookie同意弹窗：Yahoo Finance会弹出Cookie授权窗口，未处理的话会拦截核心内容渲染，导致目标元素无法加载。
• 等待条件不准确：使用presence_of_element_located仅判断元素存在，但元素可能未完成渲染或未显示，无法获取有效数据。

解决方案 #

1. 替换稳定的定位方式 #

放弃动态ID，改用页面中用于测试的data-test属性，或包含目标数据的aria-label属性进行定位，这些属性不会随页面加载变化。

2. 处理Cookie授权 #

添加Cookie同意弹窗的处理逻辑，确保页面正常渲染。

3. 优化等待条件 #

使用visibility_of_element_located替代presence_of_element_located，确保元素可见且渲染完成。

修改后的代码 #

from selenium import webdriver 
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--no-sandbox') 
chrome_options.add_argument("--headless=new")  # 新版无头模式，兼容性更好
chrome_options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
chrome_options.add_argument("window-size=1920,1080")

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://finance.yahoo.com/quote/BBAJIOO.MX?.tsrc=fin-srch")

try:
    # 处理Cookie同意弹窗（若存在）
    cookie_btn = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, '//button[@name="agree"]'))
    )
    cookie_btn.click()
except:
    # 无弹窗则跳过
    pass

# 方式1：通过aria-label直接提取所有目标价数据
target_container = WebDriverWait(driver, 20).until(
    EC.visibility_of_element_located((By.XPATH, '//div[contains(@aria-label, "Low") and contains(@aria-label, "Average")]'))
)
aria_text = target_container.get_attribute('aria-label')
parts = aria_text.split()
result = {
    'Low': parts[1],
    'Current': parts[3],
    'Average': parts[5],
    'High': parts[7]
}
print("从aria-label提取的数据：", result)

# 方式2：通过data-test属性定位单个元素提取
current_price = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//div[@data-test="analyst-cur-tg"]//span[2]'))
).text
avg_price = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//div[@data-test="analyst-avg-tg"]//span[2]'))
).text
low_price = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//div[contains(text(), "Low")]/span[2]'))
).text
high_price = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//div[contains(text(), "High")]/span[2]'))
).text

print(f"单个元素提取的数据：Low={low_price}, Current={current_price}, Average={avg_price}, High={high_price}")

finally:
    driver.quit()

代码说明 #

• 新版无头模式--headless=new：避免旧版无头模式与正常浏览器的行为差异，减少加载问题。
• Cookie弹窗处理：确保页面核心内容不受拦截。
• 两种提取方式：既可以直接解析aria-label快速获取所有数据，也可以通过data-test属性精准定位单个元素，按需选择。

内容的提问来源于stack exchange，提问作者Fernando Delgado