R语言导入固定列宽数据异常：特殊字符后列宽变化问题排查

问题原因 #

核心问题是字符编码的字节长度差异：

• readr::fwf_widths()参数定义的是字节宽度，并非视觉上的字符数。
• 中文等非ASCII字符在UTF-8编码下每个字符占用3个字节，而英文、数字等ASCII字符仅占1个字节。当数据中出现中文后，原本按单字节字符设定的列宽（3、8、7个字符）对应的实际字节数会远超设定值，直接导致列的分割位置错位，后续所有列的内容自然混乱。

解决方法 #

方法1：按字符数手动分割行内容 #

先将数据逐行读取为文本，再按字符数截取每列内容（不受字节长度影响）：

library(stringi)
# 读取数据文件（指定UTF-8编码）
lines <- readLines("data.rpt", encoding = "UTF-8")
# 按字符位置分割列：第一列1-3，第二列4-11，第三列12-18
col1 <- stri_sub(lines, from = 1, to = 3)
col2 <- stri_sub(lines, from = 4, to = 11)
col3 <- stri_sub(lines, from = 12, to = 18)
# 组合为数据框
source_data_raw <- data.frame(col1 = col1, col2 = col2, col3 = col3, stringsAsFactors = FALSE)

方法2：调整字节宽度适配混合字符 #

如果能明确每列的中英文分布，可以计算对应字节宽度后再用fwf_widths导入。比如某列有2个中文+1个英文，字节宽度就是2*3 +1*1=7，但这种方法仅适用于列内字符类型固定的场景，灵活性较差。

关于fread的补充 #

data.table::fread()确实没有直接支持固定列宽的参数，且你的数据中包含作为内容的空格，无法用空格作为分隔符，因此该方法确实不适用。

内容的提问来源于stack exchange，提问作者user24696961