You need to enable JavaScript to run this app. 如何定位连续编号的唯一元素ID 遍历抓取Indeed职位信息
优惠活动
大模型
产品
解决方案
定价
更多

如何定位连续编号的唯一元素ID 遍历抓取Indeed职位信息

逐次遍历获取页面全量职位的实现方法

首先修正原代码的两处基础问题:

  • 原代码查找的id="sja0"和实际页面的ID拼写顺序相反,页面元素的ID是saj前缀,不修正这个拼写会直接出现元素找不到的报错。
  • 直接拼接带空格的岗位、地点参数到URL中会触发请求异常,同时缺少浏览器请求头会被Indeed的反爬机制拦截,返回的页面不会携带任何职位条目元素。

核心遍历逻辑完全匹配需求:

  • 全程保留固定的sajID前缀,只维护一个从0开始递增的数字计数器,每次循环通过字符串拼接生成完整的ID,不需要改动前缀部分。
  • 循环不设置固定的最大遍历次数,每次查找后做结果判断:找到对应元素就提取职位文本,找不到元素时说明已经遍历完当前页面所有职位,直接终止循环即可,不会因为空值触发程序崩溃。

修正后的可运行代码:

import requests
from bs4 import BeautifulSoup

val1 = input("Enter Job: ")
val2 = input("Enter Location: ")

# 对入参做URL编码处理,补充请求头规避反爬
search_url = "https://www.indeed.co.uk/jobs?q={}&l={}".format(
    val1.replace(" ", "+"), 
    val2.replace(" ", "+")
)
request_headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
response = requests.get(search_url, headers=request_headers)
soup = BeautifulSoup(response.content, "html.parser")

# 从0开始逐次拼接ID遍历
index = 0
while True:
    # 仅末尾数字逐次加1,前缀保持saj不变
    current_id = f"saj{index}"
    job_node = soup.find(id=current_id)
    # 找不到对应元素时直接退出循环
    if not job_node:
        break
    print(f"第{index + 1}个职位:\n{job_node.text.strip()}\n{'='*20}")
    index += 1

额外注意:因为不同搜索条件返回的职位数量不固定,这种通过“找到就处理、找不到就退出”的遍历方式,比硬设置固定遍历次数的逻辑更稳妥,不会漏抓职位也不会出现无效空跑。

内容的提问来源于stack exchange,提问作者pr0xibus

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 23:45:05