Selenium足球俱乐部职位爬虫运行崩溃，求问题定位与解决

崩溃原因 #

触发AttributeError: 'WebElement' object has no attribute 'find'的核心原因是混淆了Selenium WebElement与BeautifulSoup Tag对象的方法体系：

• 原代码中jobitem是BeautifulSoup解析后的Tag对象，支持find()方法；
• 修改为Xpath选择器后，你通过Selenium的find_elements()获取到的jobitem是Selenium的WebElement对象，该对象没有find()方法，仅支持find_element()/find_elements()系列定位方法。

具体修复方案 #

方案1：改用Selenium WebElement原生定位方法 #

直接将原代码的find()替换为Selenium对应的元素定位API，以CSS选择器为例：

from selenium.webdriver.common.by import By

# 替换第61行代码
link = jobitem.find_element(By.CSS_SELECTOR, "a.linkTitle")
# 若需获取链接地址，后续调用get_attribute方法
job_url = link.get_attribute("href")

方案2：将WebElement转换为BeautifulSoup Tag对象 #

如果想继续沿用BeautifulSoup的find()语法，可先提取WebElement的HTML源码再解析：

from bs4 import BeautifulSoup

# 提取WebElement的完整HTML内容
jobitem_html = jobitem.get_attribute('outerHTML')
# 转换为BeautifulSoup可处理的Tag对象
soup_item = BeautifulSoup(jobitem_html, 'html.parser')
# 注意这里用class_替代class（class是Python关键字）
link = soup_item.find("a", class_="linkTitle")

额外优化建议 #

• 切换回职位列表页面时，需确保Selenium的窗口句柄正确，避免因新页面打开导致上下文丢失，可通过driver.switch_to.window()切换句柄；
• 网站结构更新后，建议用显式等待替代固定休眠时间，提升定位稳定性：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待职位列表元素加载完成，最长等待10秒
wait = WebDriverWait(driver, 10)
job_list = wait.until(EC.presence_of_all_elements_located((By.XPATH, '你的职位列表Xpath表达式')))

内容的提问来源于stack exchange，提问作者SailingHobo