如何定位连续编号的唯一元素ID 遍历抓取Indeed职位信息
逐次遍历获取页面全量职位的实现方法
首先修正原代码的两处基础问题:
- 原代码查找的
id="sja0"和实际页面的ID拼写顺序相反,页面元素的ID是saj前缀,不修正这个拼写会直接出现元素找不到的报错。 - 直接拼接带空格的岗位、地点参数到URL中会触发请求异常,同时缺少浏览器请求头会被Indeed的反爬机制拦截,返回的页面不会携带任何职位条目元素。
核心遍历逻辑完全匹配需求:
- 全程保留固定的
sajID前缀,只维护一个从0开始递增的数字计数器,每次循环通过字符串拼接生成完整的ID,不需要改动前缀部分。 - 循环不设置固定的最大遍历次数,每次查找后做结果判断:找到对应元素就提取职位文本,找不到元素时说明已经遍历完当前页面所有职位,直接终止循环即可,不会因为空值触发程序崩溃。
修正后的可运行代码:
import requests from bs4 import BeautifulSoup val1 = input("Enter Job: ") val2 = input("Enter Location: ") # 对入参做URL编码处理,补充请求头规避反爬 search_url = "https://www.indeed.co.uk/jobs?q={}&l={}".format( val1.replace(" ", "+"), val2.replace(" ", "+") ) request_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } response = requests.get(search_url, headers=request_headers) soup = BeautifulSoup(response.content, "html.parser") # 从0开始逐次拼接ID遍历 index = 0 while True: # 仅末尾数字逐次加1,前缀保持saj不变 current_id = f"saj{index}" job_node = soup.find(id=current_id) # 找不到对应元素时直接退出循环 if not job_node: break print(f"第{index + 1}个职位:\n{job_node.text.strip()}\n{'='*20}") index += 1
额外注意:因为不同搜索条件返回的职位数量不固定,这种通过“找到就处理、找不到就退出”的遍历方式,比硬设置固定遍历次数的逻辑更稳妥,不会漏抓职位也不会出现无效空跑。
内容的提问来源于stack exchange,提问作者pr0xibus
相关产品推荐
相关产品推荐

