Python3 Selenium网页爬取：无法提取HTML元素文本值

我想提取网页表格里的职位总数，对应的HTML代码是：

<span class="k-pager-info k-label">1 - 10 of 16 items</span>

我能定位到这个元素，但提取数字16时总是失败：

1. 用CSS选择器定位能拿到WebElement对象，但没法直接取到内容：

job_items = driver.find_element(By.CSS_SELECTOR, 'span.k-pager-info.k-label')
print('Jobs: ', job_items)

输出：Jobs: <selenium.webdriver.remote.webelement.WebElement (session="f528f37ec897b8c5006b3b5040a99c12", element="758533ea-800f-4895-ba66-e8247e882edb")>

2. 用XPath定位后取text属性，返回的是“No items to display”：

job_items = driver.find_element(By.XPATH, '/html/body/div[1]/div/div[4]/div/div[2]/div[1]/div/div/span[2]').text
print('Jobs1: ', job_items)

输出：Jobs1: No items to display

3. 试了get_attribute("innerHTML")也返回空值/NULL，请问我哪里错了？

核心原因排查 #

你遇到的问题基本逃不开这几个情况：

• 定位错元素了：绝对路径XPath（/html/body/...）极易失效，页面结构稍微变一点就会定位到另一个显示“No items to display”的span，而非目标元素。
• 内容没加载完：目标元素的文本是动态渲染的，你定位元素时，内容还没生成，所以text/innerHTML为空。
• 元素在iframe里：如果目标span嵌套在iframe中，直接定位会拿不到内容，必须先切进iframe再操作。

具体解决步骤 #

1. 改用可靠的定位方式

放弃绝对路径XPath，用相对定位锁定正确元素：

# 优先用CSS选择器（稳定性更高）
job_pager = driver.find_element(By.CSS_SELECTOR, 'span.k-pager-info.k-label')
# 或者用精准的相对XPath
job_pager = driver.find_element(By.XPATH, "//span[contains(@class,'k-pager-info') and contains(text(),'items')]")

2. 等待内容加载完成

用Selenium的显式等待，确保元素文本加载完毕再提取：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 最多等10秒，直到元素文本包含"items"
job_pager = WebDriverWait(driver, 10).until(
    EC.text_to_be_present_in_element((By.CSS_SELECTOR, 'span.k-pager-info.k-label'), 'items')
)
# 解析出数字16
total_jobs = job_pager.text.split('of ')[1].split(' items')[0]
print(f"总职位数：{total_jobs}")

3. 检查是否存在iframe

如果上面的方法还是不行，排查目标元素是否在iframe内：

# 遍历所有iframe尝试切换
for iframe in driver.find_elements(By.TAG_NAME, 'iframe'):
    driver.switch_to.frame(iframe)
    try:
        job_pager = driver.find_element(By.CSS_SELECTOR, 'span.k-pager-info.k-label')
        if job_pager.text:
            total_jobs = job_pager.text.split('of ')[1].split(' items')[0]
            print(f"总职位数：{total_jobs}")
            break
    except:
        pass
    driver.switch_to.default_content()  # 切回主页面

4. 备用方案：提取innerText属性

如果text属性失效，试试用get_attribute("innerText")（部分动态渲染元素用这个更可靠）：

job_pager = driver.find_element(By.CSS_SELECTOR, 'span.k-pager-info.k-label')
total_jobs = job_pager.get_attribute("innerText").split('of ')[1].split(' items')[0]

内容的提问来源于stack exchange，提问作者Rand Mental