如何在R中使用大数据包读取大型.sav文件并解决导入报错

核心报错原因 #

• H2O原生不支持直接解析SPSS专有.sav格式，h2o.importFile仅兼容CSV、Parquet、ORC、Avro等通用结构化数据格式，无法直接读取.sav文件。
• 附带的400路径解析错误是Windows路径转义异常导致，从报错日志可见输入的路径被错误编码，请求的路径和原始输入路径不匹配。

操作步骤 #

方案1：小内存占用方案（适合文件小于分配给H2O的最大内存，此处为3G） #

无需生成中间文件，直接读取后转换为H2O对象：

# 安装加载依赖包
install.packages("haven")
library(haven)
library(h2o)

# 启动H2O集群
h2o.init(ip = "localhost",nthreads = -1,max_mem_size = "3g")

# 读取.sav文件
spss_data <- read_sav("C:/Users/User/Desktop/Data/data.sav")

# 直接转换为H2O帧
datos_1 <- as.h2o(spss_data)

方案2：大文件适配方案（适合文件超过3G的场景） #

先将.sav转换为压缩率更高、读写更快的Parquet格式，再用H2O导入：

# 安装加载依赖包
install.packages(c("haven", "arrow"))
library(haven)
library(arrow)
library(h2o)

# 分块读取.sav并导出为Parquet，避免内存溢出
chunk_size <- 100000 # 每块行数，可根据内存调整
start_row <- 1
repeat {
  chunk <- read_sav("C:/Users/User/Desktop/Data/data.sav", skip = start_row - 1, n_max = chunk_size)
  if (nrow(chunk) == 0) break
  # 第一块新建文件，后续块追加
  write_parquet(chunk, "C:/Users/User/Desktop/Data/data.parquet", append = start_row != 1)
  start_row <- start_row + chunk_size
}

# 启动H2O集群导入Parquet文件
h2o.init(ip = "localhost",nthreads = -1,max_mem_size = "3g")
datos_1 <- h2o.importFile(path = "C:/Users/User/Desktop/Data/data.parquet")

注意事项 #

• 路径中避免使用中文、空格或特殊字符，防止再次出现路径转义错误。
• 导入前确认H2O集群可用内存大于待导入文件解压后的实际大小，避免导入中断。

内容的提问来源于stack exchange，提问作者Jesús Asdrúbal Molina Vízquez