R语言numeric向量转factor后二次调用丢失每10万位元素问题

问题复现 #

先生成元素数量超过10万的numeric类型向量：

n <- 500001
arr <- as.numeric(1:n)

1. 首次调用factor并指定levels为向量的完整范围，层级数与预期一致：

tmp <- factor(arr, levels=1:n)
nlevels(tmp)
# [1] 500001

2. 基于生成的tmp再次调用factor，出现层级丢失：

tmp2 <- factor(tmp)
nlevels(tmp2)
# [1] 499996

进一步检查发现，丢失的层级恰好是每10万位的元素：

which(!levels(tmp) %in% levels(tmp2))
# [1] 100000 200000 300000 400000 500000

该异常仅在以下场景触发：

• 向量为numeric类型且元素总量超过10万
• 首次调用factor时显式指定levels参数

当向量为integer类型、元素量≤10万，或首次调用factor不指定levels时，不会出现此问题。

原因解析 #

这个问题的核心是R内部处理大量字符型factor层级时的哈希冲突：

• 当显式指定levels=1:n（numeric类型）时，R会将这些数值转换为字符向量作为factor的层级存储。由于层级数量超过10万，R会启用哈希表来高效完成层级的唯一性校验。
• R的哈希表默认阈值为10万，当元素量突破该阈值后，哈希函数的碰撞概率大幅上升。而100000、200000这类10万倍数的数值，其对应的字符串哈希值恰好与其他层级的哈希值产生冲突，导致这些层级被错误判定为重复项，在二次调用factor时被自动剔除。
• 当向量为integer类型时，R转换层级字符串的内部逻辑更稳定，哈希冲突概率极低；当不指定levels时，factor会直接从原向量提取唯一值生成层级，这一过程的哈希校验逻辑与显式指定levels不同，因此不会触发冲突。

内容的提问来源于stack exchange，提问作者steliosbl