Scrapy仅抓取页面部分内容问题排查求助

核心原因：页面内容动态加载 #

BP官网的职位列表是通过JavaScript动态渲染的，Scrapy默认请求返回的是初始HTML源码，这部分源码里只包含页面框架，并没有完整的职位数据（也就是你看到的h3标签和li标签），实际的职位内容是浏览器加载后通过异步请求获取并渲染出来的。

具体验证与解决方向 #

• 验证动态加载：打开BP职位搜索页面的开发者工具（F12），切换到「Network」标签页，刷新页面后观察XHR/fetch请求，会发现有专门的接口返回职位列表的JSON数据，这才是需要抓取的真实数据源。
• 修改爬虫策略：
  1. 定位到返回职位数据的API接口，直接请求该接口获取完整数据，这种方式比解析渲染后的页面更高效稳定。
  2. 如果需要模拟浏览器渲染，可以使用scrapy-splash或playwright等工具，让Scrapy获取JavaScript渲染后的完整页面内容。

其他可能的影响因素 #

• 反爬机制：即使设置了ROBOTSTXT_OBEY = False，网站可能还有其他反爬措施（如UA检测、请求频率限制），导致部分内容被拦截。可以尝试在settings.py中添加模拟浏览器的配置：

  DOWNLOAD_DELAY = 2
  USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
  

• XPath定位问题：动态渲染后的页面标签类名可能和初始源码不同，建议在浏览器开发者工具的「Elements」标签页中复制正确的XPath，避免定位失效。

内容的提问来源于stack exchange，提问作者Hemant Singh