LinkedIn招聘页面候选人邮箱抓取代码修复求助

问题分析 #

原代码存在几个关键问题：

• 用time.sleep(2)做固定等待，无法适配页面加载的动态延迟，可能导致元素还未渲染完成就尝试定位
• 元素定位方式不准确，下拉菜单中的邮箱选项可能不是通过pv-contact-info__contact-link类名定位，且未针对“下拉第二项”做定位
• 异常捕获过于宽泛，无法定位具体错误原因

修复后的代码 #

import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException

# 替换为你的Chrome用户数据目录路径
user_data_dir = "xxxxxxxxxxxxx"

# 替换为你要使用的配置文件名
profile_name = "xxxxxxx"

# 设置Chrome选项
options = webdriver.ChromeOptions()
options.add_argument(f'--user-data-dir={user_data_dir}')
options.add_argument(f'--profile-directory={profile_name}')
options.add_argument('--remote-debugging-port=9222')

# 设置Chrome驱动服务
service = Service(r'C:\chromedriver_win32\chromedriver.exe')

# 初始化Chrome驱动
driver = webdriver.Chrome(service=service, options=options)

# 候选人LinkedIn招聘页URL
profile_url = 'https://www.linkedin.com/hiring/jobs/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'

driver.get(profile_url)

try:
    # 显式等待"More..."按钮可点击，最多等待10秒
    more_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//button[contains(., 'More')]"))
    )
    driver.execute_script("arguments[0].click();", more_button)
    
    # 显式等待下拉菜单出现，定位第二项（邮箱选项）
    # 用XPATH定位下拉菜单中的第二个可点击选项
    email_option = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//div[contains(@class, 'dropdown-menu')]//li[2]"))
    )
    driver.execute_script("arguments[0].click();", email_option)
    print("成功点击邮箱选项")
    
    # 如果需要提取邮箱文本，可添加以下代码
    # email_text = WebDriverWait(driver, 10).until(
    #     EC.visibility_of_element_located((By.CLASS_NAME, "pv-contact-info__contact-link"))
    # ).text
    # print(f"候选人邮箱：{email_text}")
    
except TimeoutException:
    print("元素加载超时，请检查页面结构或网络")
except NoSuchElementException:
    print("未找到目标元素，请确认定位表达式是否正确")
except Exception as e:
    print(f"发生未知错误：{str(e)}")
finally:
    # 关闭浏览器
    driver.quit()

关键修改说明 #

• 替换固定等待为显式等待：使用WebDriverWait配合expected_conditions，确保元素加载完成后再操作，避免因网络延迟导致的定位失败
• 精准定位下拉第二项：通过XPATH定位下拉菜单中的第二个列表项（//li[2]），匹配你描述的“下拉选项第二项为邮箱”的结构
• 细化异常捕获：分别捕获超时、元素未找到等具体异常，方便排查问题
• 修正驱动路径转义：将原路径'C:\chromedriver_win32\chromedriver.exe'改为原始字符串r'C:\chromedriver_win32\chromedriver.exe'，避免转义字符问题

额外提示 #

• 如果下拉菜单的HTML结构不是li标签，可通过浏览器开发者工具（F12）查看实际结构，调整XPATH表达式
• 若点击邮箱选项后需要提取邮箱文本，可取消代码中注释的部分，根据实际显示的元素类名调整定位方式

内容的提问来源于stack exchange，提问作者Tatiana