R中read.csv与data.table::fread读取CSV数值表示差异咨询

问题复现 #

最小复现代码如下：

fname <- tempfile()
df <- data.frame(x = -0.175247)
write.csv(df, fname, row.names = FALSE)
f1 <- read.csv(fname)
f2 <- data.table::fread(fname, data.table=FALSE)
f1 - f2

本地运行输出差值量级为-2.775558e-17，属于双精度浮点数的最小精度差级别。

1. 数值表示差异的根本原因 #

关于浮点数机制的猜测符合底层逻辑，核心原因是IEEE 754双精度64位浮点数的二进制表示限制：

• 绝大多数十进制小数无法用有限长度的二进制浮点数精确表示，任意十进制小数写入内存时，都会被舍入到距离它最近的可表示二进制浮点数上。两个相邻可表示浮点数的最小间隔（ULP，即最后一位单位）在0.1-1数值区间约为1e-16，观测到的2.7e-17差值正好在这个范围内，属于双精度浮点数的固有属性，不是程序错误。
• R原生运算中出现的同类差异逻辑完全一致：不管是直接输入数值字面量，还是通过算术运算生成数值，只要运算路径、舍入时机存在微小差异，最终就可能落在相邻的两个可表示浮点数上，产生1个ULP级别的差值。
• 观测到的问题数值索引间隔规律也和浮点数分布特性直接相关：双精度浮点数在数轴上非均匀分布，数值越小精度越高、可表示点越密，每跨过一个2的整数次幂区间，ULP就会翻倍，因此问题点的间隔会呈现562、1124（5622）、2248（11242）这类成倍数的规律。

2. 两个读取函数结果不一致的原因 #

两个函数使用了完全独立的文本转数值解析实现，舍入逻辑存在细微差异：

• read.csv()调用R核心内置的C级数值转换逻辑，遵循R默认的舍入规则完成字符串到浮点数的转换。
• fread()为了实现高性能读取，自带独立编写的快速数值解析器，没有复用R核心的转换代码。当CSV中的十进制文本刚好落在两个相邻可表示浮点数的中点附近时，两套解析逻辑的舍入方向可能不同，最终返回的浮点数就会差1个ULP。
• 这类差值完全在双精度浮点数的允许误差范围内，常规统计、建模计算不会受到任何影响。

3. 强制二者解析行为一致的方法 #

如果需要用identical()完成嵌套数据框的等价性校验，可以选择以下方案：

• 优先推荐：读取后统一做精度截断。根据源数据实际精度保留足够冗余的小数位做舍入，比如源数据最多保留6位小数，就对所有数值列执行round(x, digits = 10)，处理后再做对比即可。该方案不会损失有效精度，也不会牺牲fread的读取性能。
• 完全对齐解析逻辑：让fread只负责文本切分，类型转换复用R核心逻辑，和read.csv保持完全一致，代码示例：

# 先按字符类型读取所有列
f2 <- data.table::fread(fname, data.table = FALSE, colClasses = "character")
# 用R核心内置的类型转换函数做类型解析，和read.csv逻辑完全一致
f2 <- as.data.frame(lapply(f2, type.convert, as.is = TRUE))

• 无性能要求场景：对比的两个对象统一使用read.csv()读取，从根源上消除解析实现差异。

注意：永远不要依赖浮点数的精确相等做校验，哪怕使用同一个读取函数，不同版本、不同操作系统下的解析结果都可能出现1个ULP级别的差异，这是浮点数标准本身决定的。

内容的提问来源于stack exchange，提问作者Simon Mills