wget、curl、PowerShell下载文件失败但浏览器可正常访问的问题咨询

核心触发原因 #

• TLS/JA3指纹识别拦截：当前多数站点的反爬策略已经不再仅校验User-Agent和请求头，而是会识别TLS握手过程的特征指纹（JA3指纹）。不同工具、不同版本的编译配置不同，生成的JA3指纹差异极大，浏览器的指纹被加入白名单，而原生wget、curl、PowerShell的默认指纹会被标记为爬虫直接拦截。你遇到的部分设备wget可正常下载，大概率是这些设备上的wget版本/编译配置对应的JA3指纹刚好未被拦截。
• HTTP/2协议特征差异：该站点已启用HTTP/2协议，浏览器默认使用HTTP/2发起请求，而多数发行版预装的wget默认不支持HTTP/2，curl默认优先使用HTTP/1.1，即便手动开启HTTP/2，命令行工具的帧发送顺序、流量控制参数也和浏览器存在差异，会被WAF识别拦截。
• 请求上下文校验不通过：部分站点会校验请求的来源链路，要求必须先访问站点首页、列表页等前置页面留存有效Cookie后，才能发起下载请求，直接调用下载链接会被挂起。你手动复制的请求头可能存在Cookie过期、漏带隐性参数的问题。
• TCP层指纹识别：部分企业级防火墙会校验TCP包的初始TTL、窗口大小、MSS等参数，桌面系统（Windows/macOS）的默认TCP参数和服务器/命令行工具所在的Linux系统参数存在差异，不符合特征的请求会被直接拦截。

可行解决方案 #

• 替换支持浏览器指纹模拟的工具，使用curl-impersonate直接模拟Chrome/Edge的完整请求特征，无需手动调整请求头即可绕过指纹校验。
• 手动给命令行工具开启HTTP/2支持，curl请求时添加--http2参数，1.21及以上版本的wget添加--http2参数发起请求。
• 补全请求链路逻辑，先模拟访问站点首页、产品相关页面，存储请求过程中返回的所有Cookie，再携带完整Cookie发起下载请求，不要直接调用下载链接。
• PowerShell环境下不要使用原生Invoke-WebRequest，改用调用Chrome/Edge无头模式完成下载，示例命令：start chrome "https://www.cmegroup.com/CmeWS/mvc/ProductSlate/V1/Download.csv" --headless=new --download，完全复用浏览器的请求特征规避拦截。

内容的提问来源于stack exchange，提问作者bpeikes