如何在R中导入.dat数据集？SAS转R的问题与优化方案

我最近在处理将SAS固定宽度格式的数据集导入R作为data.frame对象的任务，最初手动尝试遇到了问题，后来找到更高效的方法，分享如下：

最初尝试：手动定义变量与宽度（出现大量NA） #

首先我从SAS文件里手动提取了变量名和对应的字段长度：

vars <- c('SEQN', 'HYK1A', 'HYK1B', 'HYK2A', 'HYK2B', 'HYK3CG', 'HYK3DG', 'HYK6SG', 'HYK8SG', 'HYK3CH', 'HYK3DH', 'HYK6SH', 'HYK8SH', 'HYK3CI', 'HYK3DI', 'HYK6SI', 'HYK8SI', 'HYK3CJ', 'HYK3DJ', 'HYK6SJ', 'HYK8SJ', 'HYK3CK', 'HYK3DK', 'HYK6SK', 'HYK8SK', 'HYK3CL', 'HYK3DL', 'HYK6SL', 'HYK8SL', 'HYK3CM', 'HYK3DM', 'HYK6SM', 'HYK8SM', 'HYK3CN', 'HYK3DN', 'HYK6SN', 'HYK8SN', 'HYK3CO', 'HYK3DO', 'HYK6SO', 'HYK8SO', 'HYK3CP', 'HYK3DP', 'HYK6SP', 'HYK8SP', 'HYK9DG', 'HYK9EG', 'HYK9FG', 'HYK11AG', 'HYK12SG', 'HYK9DH', 'HYK9EH', 'HYK9FH', 'HYK11AH', 'HYK12SH', 'HYK9DI', 'HYK9EI', 'HYK9FI', 'HYK11AI', 'HYK12SI', 'HYK9DJ', 'HYK9EJ', 'HYK9FJ', 'HYK11AJ', 'HYK12SJ', 'HYK9DK', 'HYK9EK', 'HYK9FK', 'HYK11AK', 'HYK12SK', 'HYK9DL', 'HYK9EL', 'HYK9FL', 'HYK11AL', 'HYK12SL', 'HYK9DM', 'HYK9EM', 'HYK9FM', 'HYK11AM', 'HYK12SM', 'HYK9DN', 'HYK9EN', 'HYK9FN', 'HYK11AN', 'HYK12SN', 'HYK9DO', 'HYK9EO', 'HYK9FO', 'HYK11AO', 'HYK12SO')
len <-c(7, 3, 3, 3, 3, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 3, 3, 4, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4, 4, 4, 4, 6, 4)

接着用read.fwf()读取数据并命名变量：

df <- read.fwf(".../you.dat", widths = len, header = FALSE, n=10, stringsAsFactors = TRUE)
names(df) <- vars

我用head(df)查看数据时，发现结果里出现了大量的NA，这显然不对，说明手动定义宽度很容易出错，尤其是变量数量多的时候。

高效解决方案：SAScii + readr + data.table #

在@42-的启发下，我改用SAScii库自动解析SAS文件，避免手动输入的错误，同时结合readr的read_fwf()和data.table来提升读取效率，减少系统开销：

library(readr)
library(data.table)
# 解析SAS文件，自动获取变量名和宽度
vars <- parse.SAScii(".../you.sas")
setDT(vars) # 转换为data.table方便操作
# 读取固定宽度数据到数据框
huge.df <- read_fwf(".../you.dat", 
                    fwf_widths(dput(vars[,width]), col_names=(dput(vars[,varname]))), 
                    progress = interactive() )

这个方法不仅解决了NA的问题，而且读取大型数据集时速度更快，系统资源占用更低，推荐给需要处理SAS固定宽度数据的朋友。

内容的提问来源于stack exchange，提问作者Borexino