R使用RCurl从FTP批量下载数据出现文件损坏的解决方案咨询

R环境下原生的download.file函数在Windows系统中，默认采用文本写入模式处理所有下载内容，对于zip、压缩包这类二进制格式文件，传输过程中会自动转换换行符（将Unix格式的LF换行替换为Windows格式的CRLF换行），这类字节级修改会直接破坏压缩文件的二进制结构，最终导致下载完成的文件无法正常打开。此外原代码没有对目录列表结果做清洗，可能将空值、无效路径拼入下载链接，进一步触发下载异常。

方案1：在原有代码基础上修正传输模式参数 #

这是改动最小的修复方式，只需要给download.file增加mode = "wb"参数，强制采用二进制模式写入文件，从根源上避免编码转换对文件结构的破坏。修正后的完整可运行代码：

library(RCurl)
base_url = "ftp://ftp.mtps.gov.br/pdet/microdados/RAIS/2006/"

# 获取目录下的文件列表并清洗无效条目
file_list <- getURL(base_url, ftp.use.epsv = FALSE, dirlistonly = TRUE) |>
  strsplit(split = "\r\n") |>
  unlist() |>
  subset(nchar(.) > 0)

# 逐个下载目标文件
for (target in file_list) {
  download_link = paste0(base_url, target)
  save_path = file.path(getwd(), target)
  # 关键配置：mode="wb" 强制二进制写入，避免格式转换损坏文件
  download.file(
    url = download_link,
    destfile = save_path,
    mode = "wb",
    quiet = TRUE
  )
}

方案2：换用兼容性更强的curl下载工具 #

如果修正参数后仍出现传输中断、偶发文件损坏的问题，可以换用curl包实现的FTP下载逻辑，该实现对FTP协议的兼容性更好，不会自动对二进制内容做格式转换，传输稳定性更高。示例代码：

# 首次使用需先安装包
# install.packages("curl")
library(curl)

for (target in file_list) {
  download_link = paste0(base_url, target)
  save_path = file.path(getwd(), target)
  curl_download(
    url = download_link,
    destfile = save_path,
    mode = "wb"
  )
}

方案3：增加下载后的校验环节 #

针对网络波动导致的偶发丢包、文件不完整问题，可以在下载流程中增加校验逻辑：解析FTP目录返回的文件元信息，对比本地下载文件的大小和服务器端的标称大小，尺寸不匹配的文件自动触发重下，进一步降低损坏概率。

注意：如果Linux或macOS环境下运行原有代码，通常不会因为写入模式问题导致文件损坏，这类环境下的download.file默认会对二进制文件采用正确的写入模式，仅Windows环境需要额外配置mode = "wb"参数。

内容的提问来源于stack exchange，提问作者ph_9933