如何高效从含数值向量列表列的tibble生成树状图？

针对你380k行、每行512维向量的数据集，原来的do.call(rbind.data.frame)确实会因为反复内存复制导致性能爆炸——尤其是当数据量达到这个规模时，直接构造矩阵而非逐行绑定才是关键。同时，全量计算距离矩阵在这个数据规模下完全不现实（380k条记录的距离矩阵需要约1.4e11个元素，内存根本装不下），所以得换更高效的聚类路径。

下面是兼顾tidy风格和性能的实现方案：

第一步：高效将列表列转为矩阵 #

不要用do.call(rbind)，而是利用unlist一次性展开向量，再直接构造矩阵——这会比逐行绑定快几个数量级：

library(tidyverse)

# 模拟你的大规模数据（380k行，每行512维向量）
set.seed(123)
t <- tibble(
  id = as.character(1:380000),
  l = map(1:380000, ~runif(512))
)

# 高效转换为矩阵（byrow=TRUE保证每行对应原列表的一个向量）
mat <- matrix(unlist(t$l), ncol = 512, byrow = TRUE)
# 给行名赋值，对应id列
rownames(mat) <- t$id

第二步：使用高效层次聚类算法 #

标准的hclust(dist(mat))在这个规模下完全不可行——dist会生成一个巨大的距离矩阵，直接撑爆内存。推荐用fastcluster包的hclust.vector函数，它直接基于向量/矩阵计算聚类，不需要预先生成全距离矩阵，内存占用和速度都友好很多：

library(fastcluster)

# 快速计算层次聚类（可根据需求替换method参数，比如"single""complete"等）
hc <- hclust.vector(mat, method = "ward.D2")
# 转为树状图
dend <- as.dendrogram(hc)

适配tidy风格的管道写法 #

如果想保持dplyr的管道风格，可以把转换和聚类整合起来，全程用tidy工具链完成：

dend <- t %>%
  pull(l) %>%
  unlist() %>%
  matrix(ncol = 512, byrow = TRUE) %>%
  `rownames<-`(pull(t, id)) %>%
  hclust.vector(method = "ward.D2") %>%
  as.dendrogram()

为什么这个方法更高效？ #

• 矩阵构造：unlist是一次性将所有向量展开为一个长向量，然后直接分割成矩阵，避免了do.call(rbind)每次绑定都复制现有数据的开销。
• 聚类算法：fastcluster::hclust.vector采用了优化的底层实现，并且不需要生成全距离矩阵——对于n=380k的数据集，这是唯一可行的层次聚类方式。
• tidy风格兼容：用pull从tibble中提取列表列，结合管道操作，保持了tidyverse的代码风格，同时没有牺牲性能。

如果你的聚类需求不是层次聚类，也可以考虑基于密度的聚类（比如dbscan包），但如果必须生成树状图，fastcluster是目前最优的选择。

内容的提问来源于stack exchange，提问作者Rhymenoceros