使用Java CloseableHttpClient爬取亚马逊等电商商品页成功率提升问题咨询

问题1：如何有效提升爬取的成功率？ #

• 替换HTTP请求客户端：弃用默认的Apache CloseableHttpClient，它的TLS握手指纹特征非常容易被亚马逊反爬识别，Java生态可以改用OkHttp搭配ja3-fingerprint-okhttp扩展，自定义JA3指纹和真实Safari/Chrome浏览器完全对齐，仅这一项优化通常可以将成功率提升20%以上。
• 优化代理使用规则：优先使用目标区域的住宅代理，数据中心代理的拦截率超过80%；每个代理绑定固定的User-Agent、Cookie会话，避免同一个IP下出现多套完全矛盾的浏览器特征；控制单IP请求频率，单IP每分钟请求量不要超过15次，请求间隔设置1-5秒的随机值，不要匀速发请求。
• 调整请求路径逻辑：不要大批量直接请求/dp/开头的商品直链，真实用户访问商品页通常是经过首页、搜索页跳转而来，建议模拟跳转路径，请求商品页时携带对应来源的Referer，直链请求占比控制在总请求量的40%以内。

问题2：请求携带Cookie的作用有多大？csm-hit字段能否动态生成？ #

• Cookie在亚马逊反爬评分中占比约30%，权重很高，不要使用预生成的固定Cookie，要动态维护Cookie生命周期：首次访问亚马逊首页时接收服务端下发的初始Cookie，后续每次请求都自动更新响应返回的新Cookie，会话失效后直接销毁整套Cookie和对应绑定的代理。
• csm-hit是亚马逊前端JavaScript生成的用户行为上报字段，内含会话ID、页面停留时间戳、广告拦截状态等参数，其生成逻辑和页面渲染、前端事件触发深度绑定，手动逆向计算的成本极高，且非常容易出现特征不匹配被识别的情况。不需要硬编码生成逻辑，静态请求场景下每次从返回的页面源码中提取最新的csm-hit值更新到Cookie即可，更高要求的场景可以用无头浏览器加载页面自动携带该字段。

问题3：除了请求头、User-Agent、代理之外，还有哪些提升成功率的配置项？ #

• 支持HTTP2协议：你当前的请求示例使用的是HTTP/1.1，目前真实浏览器访问亚马逊全部走HTTP2协议，需要将客户端配置为默认优先使用HTTP2，同时对齐真实浏览器的HTTP2帧顺序、窗口大小等特征，避免被协议层识别。
• 补充缺失的请求头字段：你当前的请求缺少Referer字段，正常用户访问商品页的Referer应为亚马逊搜索结果页或站内其他页面，不要留空或者携带站外地址。
• 优化失败重试逻辑：遇到5xx错误或者验证码响应时，不要立刻用同一个IP、同一会话重试，先销毁当前会话，切换新的代理，间隔10秒以上再发起请求，频繁重试只会触发更严格的风控。
• 配置验证码容错机制：若遇到验证码响应，可对接第三方打码服务处理后继续会话，也可以直接放弃当前会话，切换全新IP和Cookie后再请求，避免无效重复触发风控。

内容的提问来源于stack exchange，提问作者mang4521