如何从课程级数据高效计算学生的独特同班同学数量？

问题定义 #

需要从课程级数据中统计每个学生在两个学期内的独特同班同学数量，同班同学定义为：同一学期修读同一课程的其他学生。结果需适配1700万行的大型数据集。

示例数据 #

dat <- 
  data.frame(
  student = c(1, 1, 2, 2, 2, 3, 4, 5),
  semester = c(1, 2, 1, 2, 2, 2, 1, 2),
  course = c(2, 4, 2, 3, 4, 3, 2, 4)
)

# 数据预览：
#   student semester course
# 1       1        1      2
# 2       1        2      4
# 3       2        1      2
# 4       2        2      3
# 5       2        2      4
# 6       3        2      3
# 7       4        1      2
# 8       5        2      4

期望输出 #

student n
1       1 3
2       2 4
3       3 1
4       4 2
5       5 2

解决方案 #

方法1：data.table高效实现（推荐用于大型数据集） #

利用data.table的分组和内存高效操作，避免冗余计算，适合处理千万级行数据：

library(data.table)

# 转换为data.table格式（提升处理速度）
setDT(dat)

# 步骤1：按「学期-课程」分组，生成组内所有学生配对（排除自己与自己配对）
class_pairs <- dat[, .(
  student1 = rep(student, each = .N),
  student2 = rep(student, .N)
), by = .(semester, course)][student1 != student2]

# 步骤2：去除重复配对（如(1,2)和(2,1)视为同一关系）
unique_pairs <- unique(class_pairs[, .(
  student = pmin(student1, student2),
  classmate = pmax(student1, student2)
)])

# 步骤3：统计每个学生的独特同班同学数
result <- unique_pairs[, .(n = .N), by = student]

# 步骤4：补充无同班同学的学生（若存在）
all_students <- dat[, unique(student)]
result <- result[.(all_students), on = "student"][is.na(n), n := 0]

# 按学生ID排序输出
result[order(student)]

方法2：igraph图论实现 #

通过构建无向图，将学生视为节点，同班关系视为边，节点的度即为同班同学数量：

library(igraph)
library(data.table)

setDT(dat)

# 步骤1：按「学期-课程」分组，生成组内学生的无序配对
edges <- dat[, {
  # 对组内学生生成所有两两组合
  combn(student, 2, simplify = TRUE) %>% 
    t() %>% 
    as.data.table(col.names = c("from", "to"))
}, by = .(semester, course)]

# 步骤2：构建无向图
class_graph <- graph_from_data_frame(edges, directed = FALSE)

# 步骤3：提取每个节点的度（即同班同学数）
result_igraph <- data.table(
  student = as.integer(V(class_graph)$name),
  n = degree(class_graph)
)

# 步骤4：补充无同班同学的学生
all_students <- dat[, unique(student)]
result_igraph <- result_igraph[.(all_students), on = "student"][is.na(n), n := 0]

# 排序输出
result_igraph[order(student)]

性能说明 #

• 对于1700万行的大型数据集，优先选择data.table方法：rep生成配对的效率远高于combn，且data.table的分组操作经过高度优化，内存占用更低。
• igraph方法适合中小数据集，但若课程组内学生数量较多，combn会产生大量中间数据，导致内存溢出或处理缓慢。

内容的提问来源于stack exchange，提问作者Maël