使用Selenium爬取Webull选股器时获取元素文本失败求助
解决Webull选股器爬取股票代码的问题
首先咱们先理清你代码里的两个核心问题:
- 直接打印WebElement对象,只会输出它的会话和元素标识信息,这是正常现象——要拿到实际的股票代码文本,得调用元素的
.text属性才行。 execute_script()的用法有误:它的第一个参数必须是JavaScript代码字符串,你直接传WebElement对象肯定会报错。如果想用JS获取文本,需要把元素作为参数传入JS代码中。
下面是修正后的代码,还优化了定位方式(绝对XPath太容易因为页面结构变化失效,换成更稳定的相对定位),同时用显式等待替代隐式等待,更适配动态加载的页面:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options = webdriver.ChromeOptions() options.add_argument('headless') driver = webdriver.Chrome(options=options) try: driver.get('https://app.webull.com/screener') # 用显式等待等待目标元素加载完成,比隐式等待更可靠 wait = WebDriverWait(driver, 20) # 换成相对XPath定位股票代码列(这里假设第二行第二列是股票代码,你可以根据实际页面调整) stock_code_element = wait.until(EC.presence_of_element_located( (By.XPATH, '//table[contains(@class, "screener-table")]/tbody/tr[2]/td[2]') )) # 方法1:直接用元素的text属性获取文本(最常用的方式) stock_code = stock_code_element.text print("股票代码:", stock_code) # 方法2:用execute_script获取文本(如果text属性拿不到内容时可以试试这个) stock_code_js = driver.execute_script('return arguments[0].textContent;', stock_code_element) print("股票代码(JS方式):", stock_code_js) finally: driver.quit()
额外提示:
- 绝对XPath(比如
/html/body/...)非常脆弱,页面只要有一点结构变化就会失效,建议用元素的class、id等属性来编写相对定位规则。 - 如果页面是滚动后才加载更多股票的动态结构,你可能还需要处理滚动加载的逻辑,确保目标元素已经被渲染到页面中。
内容的提问来源于stack exchange,提问作者choc2145
相关产品推荐
相关产品推荐

