Copy as Curl请求被拦截，走本地代理可正常响应，如何解决？

一、直接curl请求与经代理请求的差异点 #

即使请求头完全一致，以下底层细节仍可能导致服务器拦截：

• TLS握手指纹（JA3/JA3S）：浏览器、curl、Java HttpClient的TLS握手参数（加密套件顺序、扩展列表、版本协商等）存在天然差异，服务器可通过JA3指纹精准识别非浏览器客户端。使用MITM代理时，服务器实际与代理（如Charles）建立TLS连接，代理的指纹可能在服务器的白名单内。
• HTTP协议版本：Chrome默认使用HTTP/2，而Copy as CURL生成的命令可能默认走HTTP/1.1（取决于curl版本）。部分服务器会拦截HTTP/1.1请求，仅允许HTTP/2流量。
• IP协议版本：直接请求可能优先使用IPv6，而代理可能强制走IPv4。若服务器防火墙对IPv6请求有拦截规则，就会出现两种请求结果不同的情况。
• TCP连接特征：不同客户端的TCP连接参数（如初始窗口大小、MSS、连接建立时序）存在细微差异，高级防火墙会基于这些特征识别自动化请求。

二、服务器识别非浏览器请求的常见手段 #

除上述TLS和TCP层特征外，还可能包括：

• HTTP/2特性检测：浏览器支持的HTTP/2扩展（如SETTINGS帧参数、服务器推送功能）与curl/Java HttpClient存在差异，服务器可通过这些细节判断请求来源。
• 请求发起时序：浏览器通常在页面加载时批量发起请求，而curl/Java HttpClient多为单次独立请求，服务器可能通过请求频率、间隔判断是否为自动化请求。
• 底层网络栈指纹：不同客户端的TCP/IP实现存在专属特征，部分防火墙会基于这些特征拦截非浏览器流量。

三、获取预期JSON响应的解决方案 #

针对curl #

1. 强制使用HTTP/2：添加--http2参数，模拟浏览器的HTTP协议版本：

   curl --http2 [其他复制的请求参数]
   

2. 匹配浏览器的TLS参数：从Chrome开发者工具的Security面板查看当前请求的TLS加密套件和版本，复制后添加到curl命令：

   curl --tlsv1.3 --ciphers "TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256:TLS_AES_128_GCM_SHA256" [其他请求参数]
   

3. 强制使用IPv4：添加-4参数，避免IPv6导致的拦截：

   curl -4 [其他请求参数]
   

针对Java HttpClient #

1. 启用HTTP/2：Java 11+的HttpClient原生支持HTTP/2，配置时开启：

   HttpClient client = HttpClient.newBuilder()
           .version(HttpClient.Version.HTTP_2)
           .build();
   

2. 模拟浏览器的TLS设置：自定义SSLContext，匹配浏览器的加密套件和TLS版本：

   SSLContext sslContext = SSLContext.getInstance("TLSv1.3");
   sslContext.init(null, null, null);
   HttpClient client = HttpClient.newBuilder()
           .sslContext(sslContext)
           .sslParameters(params -> {
               params.setProtocols(new String[]{"TLSv1.3"});
               params.setCipherSuites(new String[]{
                   "TLS_AES_256_GCM_SHA384",
                   "TLS_CHACHA20_POLY1305_SHA256",
                   "TLS_AES_128_GCM_SHA256"
               });
           })
           .build();
   

3. 配置MITM代理：直接让请求经代理转发，绕过服务器的客户端检测：

   HttpClient client = HttpClient.newBuilder()
           .proxy(ProxySelector.of(new InetSocketAddress("127.0.0.1", 8888)))
           .build();
   

内容的提问来源于stack exchange，提问作者Peter Geng