PHP使用Goutte开发亚马逊商品页爬虫，运行结果不稳定如何解决？

核心原因 #

• 亚马逊反爬机制触发：默认Goutte请求会直接暴露爬虫身份，亚马逊识别后会返回删减了价格信息的简化页面，仅保留基础的商品标题结构，所以会出现只能拿到标题的情况
• 价格选择器稳定性不足：你使用的priceBlockStrikePriceString、priceblock_ourprice这类固定class和id是亚马逊旧版页面的元素标识，现在平台会根据访问地区、登录状态、AB测试动态调整元素属性，匹配成功率很低
• 无异常重试逻辑：单次请求被反爬拦截后没有 fallback 机制，直接返回空结果

修复步骤 #

1. 添加请求头伪装 #

初始化Goutte客户端后配置浏览器请求头，隐藏爬虫身份，示例代码：

<?php
require 'vendor/autoload.php';

$link = readline('Enter the product you want to scrape: ');

$httpClient = new \Goutte\Client();
// 伪造正常Chrome浏览器的请求参数
$httpClient->setHeader('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36');
$httpClient->setHeader('Accept-Language', 'zh-CN,zh;q=0.9,en;q=0.8');
$httpClient->setHeader('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8');
$response = $httpClient->request('GET', $link);

2. 替换兼容性更强的元素选择器 #

用包含模糊匹配的Xpath替代原有的固定属性匹配，覆盖更多页面结构：

$title_ = $response->evaluate('//span[@id="productTitle"]');
// 兼容多版本页面的挂牌价选择器
$price_ = $response->evaluate('//span[contains(@class, "a-text-strike") and contains(@class, "a-price")] | //span[contains(@class, "priceBlockStrikePriceString")]');
// 兼容多版本页面的优惠价选择器
$offer_ = $response->evaluate('//span[contains(@class, "a-price")]/span[contains(@class, "a-price-whole")] | //span[@id="priceblock_ourprice"]');

3. 增加重试机制 #

单次请求没有拿到价格数据时，间隔3-5秒后重试，最多重试3次，大幅提升请求成功率。

4. 增加返回结果校验 #

请求完成后先判断返回页面是否存在验证码元素，或者价格元素是否为空，确认是正常商品页再做解析。

内容的提问来源于stack exchange，提问作者Don