使用Selenium获取所有文本元素时现有写法返回None该如何解决

问题原因&修复方案 #

你当前的代码存在两处核心问题：

1. 缩进逻辑错误：descriptions.append(description) 和打印逻辑现在写在except异常分支里，只有元素查找失败的时候才会执行，正常拿到文本内容的时候不会把结果加入列表，也不会打印。
2. 文本获取&元素定位不稳定：
   • Selenium的text属性只能返回元素的可见文本，如果目标元素存在隐藏属性、或者查找元素时页面还没渲染完成，就会返回空值
   • 你用的find_element_by_class_name是Selenium旧版本的API，4.0+版本已经正式弃用，兼容性不佳

修正后可直接运行的代码：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

try:
    # 显式等待最多10秒，确保目标元素加载完成再操作，比硬等待效率更高
    desc_element = WebDriverWait(browser, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "jobDescriptionText"))
    )
    # 用innerText获取元素内所有文本，包括非可见内容，比.text更稳定
    description = desc_element.get_attribute('innerText').strip()
except:
    description = "None"
# 把列表追加逻辑移到try-except外部，无论是否查询成功都写入结果
descriptions.append(description)
print(description)

time.sleep(5)

异常场景排查方案：

• 如果上面的方法还是拿不到内容，可以把innerText替换成textContent，部分场景下后者能获取到更完整的文本内容
• 如果页面存在多个jobDescriptionText类名的元素，把presence_of_element_located换成presence_of_all_elements_located，遍历返回的元素列表拼接所有文本即可
• 如果目标元素嵌套在iframe中，需要先执行browser.switch_to.frame(对应的iframe元素)切换到对应iframe后再查找元素

内容的提问来源于stack exchange，提问作者Simon GIS