使用HttpClient.GetStringAsync获取亚马逊页面返回加密HTML的问题排查与解决

原因 #

亚马逊的反爬机制会对请求做校验，同时它返回的内容默认是gzip、deflate或brotli压缩格式。你的代码没配置HttpClient自动解压，拿到的是压缩后的二进制内容，看起来像乱码/加密内容；另外仅设置简单的user-agent也可能触发亚马逊的反爬检测，返回非标准页面内容。

解决步骤 #

1. 开启HttpClient自动解压 #

修改代码，给HttpClient配置解压处理器，自动处理压缩内容：

// 创建带解压配置的处理器
var handler = new HttpClientHandler
{
    AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate | DecompressionMethods.Brotli
};

// 用处理器初始化HttpClient
HttpClient httpClient = new HttpClient(handler);

// 替换成更接近真实浏览器的User-Agent
httpClient.DefaultRequestHeaders.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");

// 添加其他必要请求头，模拟真实浏览器请求
httpClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
httpClient.DefaultRequestHeaders.Add("Accept-Language", "en-US,en;q=0.5");
httpClient.DefaultRequestHeaders.Add("Accept-Encoding", "gzip, deflate, br");
httpClient.DefaultRequestHeaders.Add("Connection", "keep-alive");
httpClient.DefaultRequestHeaders.Add("Upgrade-Insecure-Requests", "1");

var sourceCode = await httpClient.GetStringAsync(url);

2. 应对反爬检测 #

如果上述配置后还是拿到异常内容，说明亚马逊识别出了爬虫：

• 可以尝试添加Cookie：先手动用浏览器访问亚马逊，复制请求里的Cookie值，加到HttpClient的请求头中
• 若还是不行，建议使用无头浏览器（比如PuppeteerSharp）模拟真实浏览器行为，它能自动处理Cookie、JS渲染等问题，但注意必须遵守亚马逊的网站使用条款，避免触发封禁

内容的提问来源于stack exchange，提问作者inpo