如何将矩阵/表格重塑为dataframe？R语言实操问题

问题描述 #

我从文件读取的数据是宽格式的，每行包含一个时间戳和三个测量结果，示例数据如下：

time <- c(0., 0.6, 1.1, 1.9)
d1 <- c(6.4, 5, 2, 1.1)
d2 <- c(8.1, 9.1, 9.9, 12)
d3 <- c(-1.9, -1.2, -0.3, 0.2)

m <- cbind(time, d1, d2, d3)
m
#>      time d1   d2    d3
#> [1,] 0.0  6.4  8.1 -1.9
#> [2,] 0.6  5.0  9.1 -1.2
#> [3,] 1.1  2.0  9.9 -0.3
#> [4,] 1.9  1.1 12.0  0.2

我需要将其转换为如下的长格式DataFrame：

time  D Temp
1   0.0 d1  6.4
2   0.6 d1  5.0
3   1.1 d1  2.0
4   1.9 d1  1.1
5   0.0 d2  8.1
6   0.6 d2  9.1
7   1.1 d2  9.9
8   1.9 d2 12.0
9   0.0 d3 -1.9
10  0.6 d3 -1.2
11  1.1 d3 -0.3
12  1.9 d3  0.2

我尝试使用melt函数但未成功，请问如何处理更大规模的此类表格？

解决方案 #

你之前用melt失败大概率是参数设置不对，或者没先把矩阵转换成数据框。下面提供三种常用的方法，都能高效处理大规模数据：

方法1：使用reshape2包的melt函数 #

首先需要把矩阵转成数据框（melt对数据框的处理更直观），然后明确指定保留的列、新列的名称：

# 安装包（首次使用时）
install.packages("reshape2")
library(reshape2)

# 将矩阵转换为数据框
df <- as.data.frame(m)

# 执行宽转长操作
long_df <- melt(df, 
                id.vars = "time",  # 指定不需要转换的标识列
                variable.name = "D", # 测量类型列的名称
                value.name = "Temp") # 测量值列的名称

# 查看转换结果
long_df

方法2：使用tidyverse的pivot_longer函数（推荐现代R工作流） #

tidyverse生态里的pivot_longer是melt的升级版，语法更清晰，也支持复杂的列选择逻辑：

# 安装包（首次使用时）
install.packages("tidyverse")
library(tidyverse)

df <- as.data.frame(m)

long_df <- df %>%
  pivot_longer(
    cols = starts_with("d"), # 选择所有以d开头的测量列
    names_to = "D",          # 测量类型列的名称
    values_to = "Temp"       # 测量值列的名称
  )

# 查看转换结果
long_df

方法3：使用data.table包的melt函数（超大规模数据首选） #

如果你的数据量特别大（比如百万行级别），data.table的melt在速度和内存效率上会更有优势：

# 安装包（首次使用时）
install.packages("data.table")
library(data.table)

# 转换为data.table格式
dt <- as.data.table(m)

# 执行宽转长
long_dt <- melt(dt, 
                id.vars = "time", 
                variable.name = "D", 
                value.name = "Temp")

# 查看结果
long_dt

大规模数据处理说明 #

上面三种方法都经过性能优化，只要你的内存能容纳转换前后的数据，处理几十万甚至上百万行的表格都没有问题。如果数据量已经超出内存，可以考虑分块读取转换，或者使用data.table的高效文件读取函数（比如fread）配合melt操作。

内容的提问来源于stack exchange，提问作者dani