如何高效获取Sainsbury's产品页动态加载的营养信息？

嘿，这个问题我之前帮朋友梳理过思路，给你几个靠谱的方向，既能解决动态内容抓取的痛点，又能兼顾1000+产品的处理效率：

1. 直接抓背后的API接口（最高效的方案） #

其实大部分电商的动态加载内容，都是靠后端API异步返回的，根本不用等页面渲染。你可以这么操作：

• 打开Chrome/Firefox的开发者工具（按F12），切换到「Network」标签页
• 清空当前请求列表，再点击产品页的营养信息下拉按钮
• 在Network列表里过滤「XHR」或「Fetch」类型的请求，搜搜关键词比如「nutrition」「product」或者产品的SKU编号
• 找到返回营养数据的请求后，复制它的URL、请求头（比如User-Agent、Referer）和参数
• 用requests库或者Scrapy直接批量请求这些API接口，拿到的是结构化的JSON数据，解析起来比HTML快N倍，1000+产品也能很快搞定

小提醒：记得给请求设置真实的User-Agent，别用默认的爬虫标识，必要时带上请求页的Referer，避免被反爬拦截。

2. 修复Scrapy的403问题 #

你碰到的403大概率是反爬检测，调整下Scrapy的配置就能解决：

• 给Scrapy设置真实的User-Agent，甚至可以用scrapy-user-agents中间件随机切换不同的UA
• 先请求Sainsbury的首页，把获取到的Cookies保存下来，再带着这些Cookies去请求产品页
• 加上合理的DOWNLOAD_DELAY（比如1-2秒），不要秒爬，模拟人类的访问节奏
• 检查下ROBOTSTXT_OBEY设置，如果网站的robots.txt允许爬产品页，可以保持开启，反之可以关闭（但尽量合规操作）

3. 优化Selenium的执行效率（备选方案） #

如果实在找不到API，那我们可以给Selenium“瘦身”提速：

• 启用无头模式：给ChromeDriver加参数--headless=new，不用加载可视化界面
• 禁用非必要资源：设置参数禁用图片、CSS这些，比如--blink-settings=imagesEnabled=false
• 用多线程/多进程批量处理：比如用concurrent.futures同时启动多个无头浏览器，并行处理多个产品页，比单线程快好几倍
• 也可以换成Playwright代替Selenium，它的无头模式效率更高，自带的等待机制更智能，批量处理的表现会更好

最后说句实在的：优先抓API，这是最高效最省心的方式；如果API找不到再考虑优化爬虫工具，千万不要硬扛单线程Selenium的慢速度。

内容来源于stack exchange