You need to enable JavaScript to run this app. 用BeautifulSoup爬取育碧招聘页时HTML与浏览器不一致,无法获取目标公司描述
优惠活动
大模型
产品
解决方案
定价
更多

用BeautifulSoup爬取育碧招聘页时HTML与浏览器不一致,无法获取目标公司描述

育碧招聘页抓取异常的解决方法

你当前遇到的抓取结果和浏览器实际内容不一致、跳转至语言选择页的核心原因有两个:一是请求未携带符合站点要求的语言、身份类请求头,被服务端识别后主动重定向到语言选择节点;二是现有代码逻辑和目标请求不匹配,错把接口返回的JSON内容当成HTML用BeautifulSoup解析。

对应场景的具体修复步骤

  • 跳过全量列表分页,直接按岗位ID请求单条数据:你拿到的岗位链接末尾的sr-post-id=743999734133930就是smartrecruiters平台的岗位唯一ID,不需要翻几百条分页找对应记录,直接拼单岗位查询路径https://api.smartrecruiters.com/v1/companies/Ubisoft2/postings/743999734133930请求,就能拿到纯结构化的岗位全量数据,不存在跳语言页的问题。
  • 补全标准请求头:不管是请求接口还是直接请求育碧原招聘页,都要加上和浏览器一致的User-Agent、Accept-Language字段,把语言参数固定为英文,服务端识别到目标语言为en-US后,就不会触发语言选择页的跳转逻辑。
  • 调整代码解析逻辑:smartrecruiters的接口返回的是标准JSON格式,不需要用BeautifulSoup构造文档树找body标签,直接调用requests返回对象的json()方法就能直接提取字段,效率更高也不会出现解析错位。

修正后的参考代码:

import requests

post_id = "743999734133930"
target_url = f"https://api.smartrecruiters.com/v1/companies/Ubisoft2/postings/{post_id}"
request_headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.9"
}
response = requests.get(target_url, headers=request_headers)
job_detail = response.json()
# 从返回结构中直接取公司描述字段
company_description = job_detail.get("company", {}).get("description", "")

注:URL中#后面的哈希片段属于纯前端路由标识,服务端无法接收这部分内容,请求工具会默认忽略该部分,它不是触发页面跳转的原因

定向爬取站点专题内容的通用思路

  • 优先挖取页面背后的公开接口:所有靠JS动态渲染的招聘页、内容详情页,本质都是前端调用后端接口拉取数据再展示在页面上。直接在浏览器开发者工具的网络面板筛选XHR类型的请求,找到返回目标字段的接口直接请求,比解析嵌套复杂的前端HTML稳定性高很多,也不会遇到JS跳转、内容加载不全的问题。
  • 应对服务端重定向、语言跳转的通用操作:不要直接用requests的默认请求头发起请求,默认请求头的特征很容易被站点识别为非浏览器访问,主动触发跳转、拦截逻辑。发起请求前补全对应站点要求的请求头字段,尤其是语言、地域相关的标识,从源头减少不必要的重定向。
  • 遇到无公开接口的纯JS渲染页面时,不要硬用裸requests抓:如果站点所有数据都是前端JS运算生成、没有可直接调用的接口,可以用无头浏览器工具完成页面加载,等待目标元素渲染完成后再提取内容,加载时要提前配置好无头浏览器的语言参数、本地Cookie,避免重复触发语言选择类的跳转。
  • 做好站点规则的缓存复用:同一站点的跳转逻辑、请求校验规则是统一的,第一次成功发起请求拿到可用的Cookie、请求头配置后,后续同站点的请求直接复用这套配置,减少重复触发站点风控、跳转的概率。

内容的提问来源于stack exchange,提问作者obrebski

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 22:45:01