用BeautifulSoup爬取育碧招聘页时HTML与浏览器不一致,无法获取目标公司描述
育碧招聘页抓取异常的解决方法
你当前遇到的抓取结果和浏览器实际内容不一致、跳转至语言选择页的核心原因有两个:一是请求未携带符合站点要求的语言、身份类请求头,被服务端识别后主动重定向到语言选择节点;二是现有代码逻辑和目标请求不匹配,错把接口返回的JSON内容当成HTML用BeautifulSoup解析。
对应场景的具体修复步骤
- 跳过全量列表分页,直接按岗位ID请求单条数据:你拿到的岗位链接末尾的
sr-post-id=743999734133930就是smartrecruiters平台的岗位唯一ID,不需要翻几百条分页找对应记录,直接拼单岗位查询路径https://api.smartrecruiters.com/v1/companies/Ubisoft2/postings/743999734133930请求,就能拿到纯结构化的岗位全量数据,不存在跳语言页的问题。 - 补全标准请求头:不管是请求接口还是直接请求育碧原招聘页,都要加上和浏览器一致的
User-Agent、Accept-Language字段,把语言参数固定为英文,服务端识别到目标语言为en-US后,就不会触发语言选择页的跳转逻辑。 - 调整代码解析逻辑:smartrecruiters的接口返回的是标准JSON格式,不需要用BeautifulSoup构造文档树找body标签,直接调用
requests返回对象的json()方法就能直接提取字段,效率更高也不会出现解析错位。
修正后的参考代码:
import requests post_id = "743999734133930" target_url = f"https://api.smartrecruiters.com/v1/companies/Ubisoft2/postings/{post_id}" request_headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "Accept-Language": "en-US,en;q=0.9" } response = requests.get(target_url, headers=request_headers) job_detail = response.json() # 从返回结构中直接取公司描述字段 company_description = job_detail.get("company", {}).get("description", "")
注:URL中#后面的哈希片段属于纯前端路由标识,服务端无法接收这部分内容,请求工具会默认忽略该部分,它不是触发页面跳转的原因
定向爬取站点专题内容的通用思路
- 优先挖取页面背后的公开接口:所有靠JS动态渲染的招聘页、内容详情页,本质都是前端调用后端接口拉取数据再展示在页面上。直接在浏览器开发者工具的网络面板筛选XHR类型的请求,找到返回目标字段的接口直接请求,比解析嵌套复杂的前端HTML稳定性高很多,也不会遇到JS跳转、内容加载不全的问题。
- 应对服务端重定向、语言跳转的通用操作:不要直接用requests的默认请求头发起请求,默认请求头的特征很容易被站点识别为非浏览器访问,主动触发跳转、拦截逻辑。发起请求前补全对应站点要求的请求头字段,尤其是语言、地域相关的标识,从源头减少不必要的重定向。
- 遇到无公开接口的纯JS渲染页面时,不要硬用裸requests抓:如果站点所有数据都是前端JS运算生成、没有可直接调用的接口,可以用无头浏览器工具完成页面加载,等待目标元素渲染完成后再提取内容,加载时要提前配置好无头浏览器的语言参数、本地Cookie,避免重复触发语言选择类的跳转。
- 做好站点规则的缓存复用:同一站点的跳转逻辑、请求校验规则是统一的,第一次成功发起请求拿到可用的Cookie、请求头配置后,后续同站点的请求直接复用这套配置,减少重复触发站点风控、跳转的概率。
内容的提问来源于stack exchange,提问作者obrebski
相关产品推荐
相关产品推荐

