R中如何将嵌套列表转换为保留数据类型的高效data.table?
嵌套列表转data.table的类型保留与高效实现
现有实现的痛点
- 此前使用
plyr::rbind.fill搭配逐列表unlist的转换逻辑,会将所有列强制转为字符型,完全丢失原有整数、浮点数、字符串的类型信息,且整体运行速度偏慢 - 直接使用
data.table::rbindlist处理原嵌套列表时,无法自动展开内部嵌套的greeks子列表结构,会丢失嵌套字段的全部信息
可落地的转换方案
以下两种方法均可完整保留原列表的所有数据类型,无字符型强转问题:
- 基于
tibblify的实现:自动识别列表的嵌套层级与字段类型,完成扁平化后直接转换为data.table:library(data.table) # lst为原始嵌套列表对象 dt <- as.data.table(tibblify::tibblify(lst)) - 基于
rrapply的实现:递归遍历列表所有层级,将原列表中的NULL值统一替换为NA后直接绑定为数据结构:library(data.table) # lst为原始嵌套列表对象 dt <- as.data.table(rrapply::rrapply( lst, f = function(x) ifelse(is.null(x), NA, x), how = "bind" ))
两种方案的性能对比
通过microbenchmark完成100次重复运行的基准测试,结果如下:
| 测试表达式 | 计时单位 | 最小值(ms) | 25分位值(ms) | 平均值(ms) | 中位数(ms) | 75分位值(ms) | 最大值(ms) | 重复次数 | 性能分组 |
|---|---|---|---|---|---|---|---|---|---|
as.data.table(tibblify(lst)) | 毫秒 | 23.02 | 27.08 | 32.58 | 29.16 | 31.90 | 116.16 | 100 | 较慢组 |
as.data.table(rrapply(lst, f = function(x) ifelse(is.null(x), NA, x), how = "bind")) | 毫秒 | 1.52 | 1.90 | 2.60 | 2.22 | 2.87 | 21.87 | 100 | 较快组 |
测试结论:
rrapply方案的运行效率远高于tibblify方案,且无数据类型丢失问题,更适配大规模嵌套列表的转换场景。
内容的提问来源于stack exchange,提问作者Saurabh
相关产品推荐
相关产品推荐

