使用Selenium爬取Wuzzuf数据分析师职位时无法翻页求助

核心问题排查与修复方案 #

1. 确认Next按钮的正确定位器 #

Wuzzuf的页面元素结构可能存在变动，先手动校验Next按钮的准确选择器：

• 右键点击页面的Next按钮→选择「检查元素」，查看对应标签的属性
• 推荐使用稳定性更高的定位方式：
  • XPath定位：//a[@aria-label='Next']（通过无障碍标签定位，不易随样式变动）
  • CSS选择器：a.css-16y0kwu.e1tiznh50（需根据当前页面实际class调整）
  • 文本定位：//a[text()='Next']（直接匹配按钮文本）

2. 修复后的翻页代码示例 #

替换你原有翻页逻辑，加入等待机制避免动态加载问题：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import random

driver = webdriver.Chrome()
driver.get("https://wuzzuf.net/search/jobs/?q=data+analyst&a=na")

while True:
    # 执行当前页职位技能爬取的逻辑（你的原有代码）
    # ...
    
    try:
        # 等待Next按钮可点击，超时时间10秒
        next_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, "//a[@aria-label='Next']"))
        )
        next_btn.click()
        # 随机延迟避免反爬，范围2-5秒
        time.sleep(random.randint(2, 5))
    except:
        # 无下一页时终止循环
        print("所有页面爬取完成")
        break

driver.quit()

3. 额外注意事项 #

• 反爬规避：频繁请求可能触发网站限制，除了随机延迟，还可以模拟正常浏览行为（如滚动页面）
• 元素定位失效：如果上述选择器仍无效，重新检查页面元素，更新定位规则
• 页面加载校验：翻页后等待目标元素加载完成，再执行爬取逻辑，避免数据遗漏

内容的提问来源于stack exchange，提问作者Alaa Mahmod - علاء محمود