无法获取HTTP响应可读内容 仅可正常获取响应头问题求助

核心原因排查 #

能正常拿到响应头、但响应内容不可读的问题，90%以上的情况由以下三类问题导致：

• 响应内容压缩未解压：服务端为了降低传输体积，会对文本类响应开启gzip、deflate、br等压缩，响应头会携带Content-Encoding: [压缩算法]字段，未解压直接读取原始字节就会得到乱码
• 字符编码不匹配：服务端返回内容的编码和你解码时使用的编码不一致，比如服务端返回GBK编码内容，你默认用UTF-8解码就会出现乱码
• 响应流读取错误：手动处理底层HTTP流时未完整读取内容、提前关闭连接，也会导致拿到的内容截断异常

对应解决方法 #

• 开启自动解压配置：优先使用成熟的HTTP客户端库，绝大多数主流HTTP库都默认开启自动解压能力，不需要手动处理：
  • Python requests/httpx 库默认自动处理压缩内容
  • Java OkHttp、Jsoup 等工具默认自动解压
  • 自行实现HTTP客户端的场景，需要先读取Content-Encoding字段，调用对应算法（gzip、brotli等）解压原始字节流后再处理
• 匹配字符编码解码：先从响应头Content-Type字段提取charset参数值，例如Content-Type: text/plain; charset=gbk对应的编码为GBK，使用提取到的编码解码解压后的字节流，不要直接使用系统默认编码
• 规范流读取逻辑：读取响应内容时等待流完全读取完成再释放连接，优先调用HTTP库内置的text/content等封装好的属性获取内容，不要手动操作底层IO流

内容的提问来源于stack exchange，提问作者Arttu Kuikka