如何使用Python+Selenium爬取Highcharts悬浮触发的图表数值?
问题解决方法
核心问题原因
你两次代码都取不到数值是两个共性问题导致的:
- 悬浮的目标元素错误:你选的是图表的分组容器元素,不是触发tooltip的具体数据点位,所以不会触发悬浮显示数值的逻辑
- 无等待逻辑:即使触发了悬浮,tooltip的文本元素渲染需要几十到几百毫秒,你立即取值时元素还没加载完成,自然取不到内容
具体修改方案
1. 调整元素定位逻辑
不要用g[4]这类硬编码的索引定位,highcharts的折线图数据点位统一在highcharts-series下的可交互元素中,直接定位所有点位即可
2. 增加显式等待
悬浮后等待tooltip的文本元素可见后再读取内容,稳定性远高于硬编码等待时间
修改后的可运行代码
import time import numpy as np from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by import By from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def website_monitoring(): websites = ['https://www.similarweb.com/website/zalando.de/#overview'] options = webdriver.ChromeOptions() options.add_argument('start-maximized') # 加UA避免被反爬识别 options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36') options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option("useAutomationExtension", False) browser = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options) wait = WebDriverWait(browser, 15) for crawler in websites: browser.get(crawler) months = [] monthly_values = [] # 先等图表加载完成 wait.until(EC.presence_of_element_located((By.ID, 'highcharts-0'))) # 定位所有折线数据点位 data_points = browser.find_elements(By.CSS_SELECTOR, '#highcharts-0 .highcharts-series path') for point in data_points: # 悬浮到点位上 ActionChains(browser).move_to_element(point).pause(0.2).perform() # 等待tooltip元素可见 try: month_ele = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.highcharts-tooltip text tspan:first-child'))) value_ele = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.highcharts-tooltip text tspan:nth-child(3)'))) months.append(month_ele.text) monthly_values.append(value_ele.text) except: # 个别点位加载失败跳过即可 continue print('Months', months) print('Monthly Values', monthly_values) browser.quit() if __name__ == "__main__": website_monitoring()
额外注意事项
- 如果运行后点位定位不到,可手动打开页面F12检查数据点位的选择器,similarweb不同区域的页面结构可能有细微差异,将选择器替换为你实际页面对应的即可
- 不要频繁请求该站点,反爬规则较严,多次请求后可能会弹出验证码导致爬取失败
内容的提问来源于stack exchange,提问作者technophile_3
相关产品推荐
相关产品推荐

