R语言网页爬取问题：curl处理内容解码时出错：数据校验错误

这个错误我之前碰到过几次，大概率是curl自动解压服务器返回的压缩内容时出了问题，不是你代码逻辑的问题，也不一定是服务器的整体故障——更可能是这个网站的压缩响应和curl的解压逻辑不兼容，或者传输过程中压缩包有损坏。既然你已经确认robots.txt允许爬取，那可以试试下面几个绕过方案：

方案1：禁用自动压缩请求 #

直接告诉服务器不要返回压缩后的内容，这样curl就不需要解压，从根源上避免错误。修改你的代码如下：

library(XML)
library(httr)

# 发送请求时禁用压缩，让服务器返回原始文本
response <- GET(
  url = "https://www.cagematch.net/?id=1&nr=283492",
  config = config(httpheader = list(`Accept-Encoding` = "identity"))
)

# 解析HTML内容
parsed_html <- htmlParse(content(response, "text"))

方案2：用底层curl包手动处理 #

如果httr的自动处理还是有问题，可以直接用curl包操作更底层的句柄，完全控制解压行为：

library(XML)
library(curl)

# 创建curl句柄，设置不接受压缩
handle <- new_handle()
handle_setheaders(handle, `Accept-Encoding` = "identity")

# 读取原始HTML内容
con <- curl("https://www.cagematch.net/?id=1&nr=283492", handle = handle)
html_content <- readLines(con)
close(con)

# 解析内容
parsed_html <- htmlParse(html_content)

方案3：模拟浏览器请求头（进阶） #

有些服务器会针对不同的请求头返回不同的内容，加上浏览器的User-Agent可能会解决一些隐形的兼容性问题：

response <- GET(
  url = "https://www.cagematch.net/?id=1&nr=283492",
  config = config(httpheader = list(
    `Accept-Encoding` = "identity",
    `User-Agent` = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
  ))
)
parsed_html <- htmlParse(content(response, "text"))

为什么会出现这个错误？ #

这个错误是curl在尝试解压gzip/deflate格式的响应内容时，发现数据校验和预期不符——可能是服务器端压缩时产生了损坏的包，或者curl使用的解压库和服务器的压缩逻辑不匹配。禁用压缩请求后，服务器返回未压缩的纯文本，就绕开了解压步骤，自然不会触发这个错误。

内容的提问来源于stack exchange，提问作者Matt Schroeder