Selenium定位LinkedIn招聘页面元素提取职位标题问题求助

问题原因 #

你当前使用find_elements_by_tag_name("a")抓取页面所有<a>标签文本，会把导航栏、页脚、公司信息、提示文案等所有带链接的内容都纳入结果，自然无法匹配你要提取的职位标题需求。

优化方案 #

LinkedIn职位搜索结果页的职位标题统一使用专属class标识，你可以通过CSS选择器精准定位，同时建议增加显式等待逻辑，避免页面未加载完成导致的抓取为空问题。

调整后可直接运行的代码 #

Selenium 3.x 版本写法

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 最多等待10秒，直到职位标题元素全部加载完成
wait = WebDriverWait(browser, 10)
job_title_elements = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'a.job-card-list__title')))

job_titles = [i.text.strip() for i in job_title_elements if i.text.strip() != '']
print(job_titles)
print(len(job_titles))

Selenium 4.x 版本写法（官方推荐，旧的find_elements_by_*系列方法已废弃）

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

wait = WebDriverWait(browser, 10)
job_title_elements = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'a.job-card-list__title')))

job_titles = [element.text.strip() for element in job_title_elements if element.text.strip()]
print(job_titles)
print(f"共抓取到{len(job_titles)}个职位标题")

补充注意事项 #

• 页面单次默认加载的职位数量有限，如果需要抓取更多结果，需要模拟页面向下滚动触发动态加载，等待新的职位卡片渲染完成后再执行抓取逻辑。
• 频繁抓取可能触发LinkedIn的反爬机制，建议添加合理的操作间隔，避免账号被限制访问。

内容的提问来源于stack exchange，提问作者Seif Mahdi