R语言lapply与parSapply输出数据结构差异及规避方法

输出结构差异的根本原因 #

• 单线程lapply是列表原生输出函数：每次迭代调用my_function得到的返回值（此处为2行的data.frame）会原封不动存为列表的独立元素，输出结构是长度等于trial数、每个元素为data.frame的列表，完全匹配dplyr::bind_rows()的输入要求，因此可以直接拼接得到规整表格。对应单线程代码如下：

results <- lapply(trials, my_function) %>% bind_rows()

运行后得到标准data.frame结构：

DLikert DNumb DItems    DCcorr    DAlpha    DOmega
1       2  1000     10 0.1094252 0.5513300 0.5523844
2       2  1000     10 0.1095712 0.5516687 0.5523042
3       2  1000     10 0.2091628 0.7256470 0.7258210
4       2  1000     10 0.2097453 0.7263301 0.7265728

• parSapply默认开启自动结果简化：它和单线程sapply逻辑一致，会尝试把列表结果折叠为矩阵/数组类型。由于你的my_function每次返回多行多列的data.frame，自动简化后会得到行对应原data.frame列名、列对应trial序号、每个单元格存储对应列数值向量的二维矩阵，不符合bind_rows()的输入要求，因此会抛出Argument 1 must have names的错误。对应parSapply默认输出结构如下：

results <- parSapply(clust, trials, my_function) 

[,1]      [,2]     
DLikert numeric,2 numeric,2
DNumb   numeric,2 numeric,2
DItems  numeric,2 numeric,2
DCcorr  numeric,2 numeric,2
DAlpha  numeric,2 numeric,2
DOmega  numeric,2 numeric,2

这种结构只能通过逐列提取的方式手动转换，代码冗余且容易出现维度对齐错误：

s <- as.data.frame(results[,1])

可用解决方案 #

• 最稳妥的方案是直接使用parLapply，它是并行版本的lapply，输出逻辑和单线程lapply完全一致，不会自动简化结果，输出的列表结构可以直接传给bind_rows()拼接，代码和单线程逻辑完全对齐，可维护性最高：

results <- parLapply(clust, trials, my_function) %>% bind_rows()

• 如果偏好parSapply的调用形式，只需要加simplify = FALSE参数关闭自动简化，此时输出结构和parLapply完全一致，也可以直接拼接：

results <- parSapply(clust, trials, my_function, simplify = FALSE) %>% bind_rows()

关于性能差异的说明 #

你观测到的parSapply默认参数下比parLapply略快，来自自动简化步骤的微小效率优势，但这个差异在大规模计算场景下几乎可以忽略：

• 并行任务的核心耗时是集群节点上my_function的实际运算，结果整理步骤的耗时占总耗时的比例通常不足1%，不会成为性能瓶颈
• 开启自动简化得到的矩阵结构需要额外写代码拆分转换，反而会增加整体开发和调试成本，远不如直接返回列表的写法性价比高

内容的提问来源于stack exchange，提问作者kwadratens