如何使用Python Selenium定位网页元素以抓取人员姓名与公司信息？

问题原因 #

• 第一个XPath定位规则错误：class="left"是<h1>标签父级div的属性，不是h1自身的属性，原规则无法匹配到对应元素
• 仅执行了元素查找操作、未获取元素的文本内容，所以不会有输出结果
• 若目标页面是动态渲染的，还可能存在元素未加载完成就执行查找逻辑的问题

修复方案 #

正确的定位及取值代码

# 导入显式等待依赖，避免动态渲染导致定位失败
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 定位公司名称：匹配class为left的div下的h1标签
company_elem = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//div[@class="left"]/h1'))
)
company_name = company_elem.text

# 定位人员姓名：匹配class为f16的p标签
person_elem = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, "f16"))
)
person_name = person_elem.text

# 打印获取到的结果
print("公司名称：", company_name)
print("人员姓名：", person_name)

补充注意事项 #

• Selenium 4.3及以上版本已经废弃了find_element_by_*系列方法，建议统一使用find_element(By.定位类型, 定位规则)的写法
• 如果执行上述代码仍提示找不到元素，检查目标元素是否处于iframe容器内，若存在iframe需要先通过driver.switch_to.frame(对应iframe元素)切换到对应iframe后再执行定位操作

内容的提问来源于stack exchange，提问作者ApexFanta