Scrapy爬取Harvey Nichols网站时价格始终返回英镑,无法获取页面显示的USD计价内容
核心问题根源拆解
之所以你调整了UA、语言头、手动塞cookie还是拿到GBP价格,核心是当前的配置逻辑和站点实际的校验规则完全不匹配:
- 你手动硬编码的
hn.globale.currency、hn.globale.country类cookie,根本不是站点服务端实际用来校验币种身份的有效标识。浏览器能正常显示USD,是因为首次访问时前端会调用全局地区选择接口,后端会下发一套和IP绑定、带签名校验的会话cookie。你手动塞的无服务端签名的自定义值会被后端直接忽略,默认走站点英国区的GBP返回逻辑。 - 你使用的Chrome 27版本UA属于2013年的老旧浏览器标识,站点风控识别到这个过时标识后,会直接跳过你的地区配置,默认返回源生英国区内容。
- 你跳过了站点要求的「地区/币种选定」前置流程,直接请求商品页时没有合法的会话校验凭证,后端会自动将请求归类为无地区偏好的英国区访问。不管你配置了多少美国相关的请求参数,返回的价格默认都是GBP——哪怕直接调用商品JSON接口,因为没有匹配的合法会话凭证,拿到的也始终是GBP计价数据。
可落地的调整步骤
- 替换老旧UA配置
把原来2013年版本的Chrome UA替换为当前主流的现代浏览器UA,同时补充站点后端实际识别地区的专属请求头,配置示例如下:
其中headers = { 'USER_AGENT': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", 'Accept-Language': 'en-US,en;q=0.9', 'X-Country-Code': 'US', 'X-Currency-Code': 'USD' }X-Country-Code、X-Currency-Code是站点后端识别地区/币种的高优先级请求头参数,比手动塞cookie的生效优先级更高。 - 调整请求流程,不要硬塞自定义cookie
重写start_requests方法时,不要手动传入自定义的地区cookie,而是先发起一次请求访问美国区的站点入口(就是你浏览器里实际能看到USD价格的基础域名地址),利用Scrapy内置的CookieMiddleware自动保存服务端下发的合法带签名cookie,再携带这套会话凭证去请求目标NARS遮瑕的商品页,代码示例如下:def start_requests(self): # 先请求美国区站点入口,触发后端下发合法会话cookie yield scrapy.Request( url="浏览器实际访问的、可展示USD价格的站点基础入口地址", headers=headers, callback=self._request_target_product, dont_filter=True ) def _request_target_product(self, response): # 提取当前会话中服务端下发的所有合法cookie,再请求目标商品页 for url in self.start_urls: yield scrapy.Request( url=url, headers=headers, callback=self.parse, cookies=response.request.cookies ) - 匹配IP地域要求
站点的币种逻辑和IP归属地强绑定,如果你使用的数据中心代理IP归属地不在美国,哪怕所有请求头、cookie都配置正确,后端检测到IP地域不匹配,还是会强制将币种切回GBP。这种情况下需要搭配美国归属的住宅代理发起请求,才能完全匹配浏览器访问时的USD价格展示逻辑。
调试小技巧:提取价格前可以先打印当前response的cookie列表、响应头的
Set-Cookie值,确认会话里已经包含带签名的美国区校验标识,再运行原有代码即可。完成上述调整后,你之前编写的XPath选择器不需要做任何修改,就能正常提取到和浏览器展示一致的USD计价价格。
内容的提问来源于stack exchange,提问作者Luka Jozić
相关产品推荐
相关产品推荐

