如何在R中实现类似Stata的.dct字典解析.txt结构化数据？

核心逻辑 #

Stata的.dct字典本质是用规则定义了每列的起始位置、变量名、类型和长度，在R里我们只需要把这些规则提取出来，用固定宽度文件读取工具就能实现相同的解析效果，同时直接处理NA值。

具体操作步骤 #

1. 解析Stata的.dct字典文件 #

先把.dct里的变量规则提取成R能识别的数据框：

# 读取.dct文件内容
dct_content <- readLines("your_dictionary.dct")

# 筛选出变量定义行（匹配_column开头的行）
var_defs <- grep("^_column", dct_content, value = TRUE)

# 解析每行的起始位置、变量名、类型
dict_df <- data.frame(
  start_pos = as.integer(sub("_column\\((\\d+)\\).*", "\\1", var_defs)),
  var_name = sub("_column\\(\\d+\\) (\\w+).*", "\\1", var_defs),
  var_type = sub("_column\\(\\d+\\) \\w+ (\\w+).*", "\\1", var_defs),
  stringsAsFactors = FALSE
)

# 计算每列的宽度（下一列起始位置 - 当前列起始位置）
dict_df$col_width <- c(diff(dict_df$start_pos),  # 中间列宽度
                       max(dict_df$start_pos) + 15 - tail(dict_df$start_pos, 1)) # 最后一列宽度可按需调整

2. 读取原始文本数据（带NA处理） #

用readr包的read_fwf()高效读取固定宽度文件，原生支持NA识别：

library(readr)

# 按字典规则读取数据
final_data <- read_fwf(
  file = "your_raw_data.txt",
  col_positions = fwf_positions(
    start = dict_df$start_pos,
    end = dict_df$start_pos + dict_df$col_width - 1,
    col_names = dict_df$var_name
  ),
  col_types = cols(.default = parse_guess()), # 自动识别变量类型，也可手动指定
  na = c("", "NA", "."), # 定义哪些字符串被识别为NA
  trim_ws = TRUE # 移除列内容两端的空格
)

3. 处理首列的chr+dbl组合格式 #

如果首列是类似chr1、chrX的格式，可拆分验证：

library(dplyr)
library(stringr)

final_data <- final_data %>%
  mutate(
    chr_prefix = str_extract(!!sym(dict_df$var_name[1]), "[a-zA-Z]+"),
    chr_number = as.integer(str_extract(!!sym(dict_df$var_name[1]), "\\d+"))
  )

4. 验证解析结果 #

检查是否得到129列：

ncol(final_data)

无.dct文件时的手动定义方案 #

如果没有现成的.dct字典，直接手动列出来规则即可：

# 示例：手动定义前3列的宽度和名称
manual_dict <- data.frame(
  col_width = c(8, 10, 12),
  var_name = c("chr_id", "patient_id", "test_result")
)

final_data <- read_fwf(
  "your_raw_data.txt",
  fwf_widths(manual_dict$col_width, col_names = manual_dict$var_name),
  na = c("", "NA", ".")
)

内容的提问来源于stack exchange，提问作者Lilia