read.csv与readr::read_delim导入ID变量结果不同的原因
我导入的是未修改过的原始CSV文件,其中包含非唯一的家庭ID(IDENTHH)和唯一的个体ID(IDENTIND)。根据文档说明,个体ID由家庭ID(长数字序列)加上表示个体排名的数字组成,例如家庭ID为11587492056时,该家庭的个体1对应ID为1158749205601,个体2对应1158749205602。
1. base包read.csv的导入问题
使用base包的read.csv导入后,前3条数据的IDENTIND列值全部重复,不符合唯一要求:
print(readcsv2010[1:3, 1:2])
输出结果的结构如下:
structure(list(IDENTHH = c(258001990644611232, 258001990644611232, 258001990644611232), IDENTIND = c(25800199064461123584, 25800199064461123584, 25800199064461123584)), row.names = c(NA, 3L), class = "data.frame")
2. readr包read_delim的导入结果
使用readr包的read_delim导入后,IDENTIND列呈现正确的结构(家庭ID+唯一数字),但所有ID均带有前导零:
print(readr2010[1:3, 1:2])
输出结果的结构如下:
structure(list(IDENTHH = c("00258001990644611237", "00258001990644611237", "00258001990644611237"), IDENTIND = c("0025800199064461123701", "0025800199064461123702", "0025800199064461123703")), row.names = c(NA, -3L), class = c("tbl_df", "tbl", "data.frame"))
差异原因:函数特性导致,与文件本身无关
read.csv问题的核心:浮点数精度限制
read.csv默认会将数字格式的列解析为数值型(numeric),而R中的numeric类型属于双精度浮点数,其有效精度仅约15-16位。你的IDENTIND是远超16位的超长数字,超出精度范围后,浮点数无法精确存储不同的长数字,最终导致原本唯一的个体ID被存为相同值,出现重复现象。
同时,原始文件中家庭ID的前导零也会被read.csv自动去除,且因为精度限制,家庭ID的末尾数字也被错误修改(比如原始的00258001990644611237被转成了258001990644611232)。
read_delim的行为逻辑:优先保留原始文本信息
read_delim(以及readr包的其他读取函数)默认会自动检测列类型,对于超长数字序列,它会将其识别为**文本型(character)**而非数值型,这样就能完整保留原始字符串的所有字符:包括前导零,以及个体ID末尾用于区分不同个体的数字。这也是它能正确展示个体ID唯一结构的原因。
如果需要去除read_delim结果中的前导零,可以使用stringr::str_remove()等文本处理函数;若尝试用as.numeric()转换,会再次遇到浮点数精度问题,因此建议保留文本型进行后续处理。
内容的提问来源于stack exchange,提问作者Val

