R语言arrow包内存占用过高及数据处理失败求助

1. 精准指定列数据类型，降低内存占用 #

Arrow默认会采用兼容性更强但内存开销更高的数据类型（比如把小范围整数解析为64位整数、字符串无压缩存储），手动匹配列的实际数据特征定义类型，能大幅削减内存占用：

library(arrow)
library(dplyr)

# 根据数据集实际情况定义列类型，示例如下
custom_col_types <- list(
  SBPHYP = integer(),  # 若SBPHYP是年月编码，32位整数足以存储
  SBINDT = date(format = "%Y%m"),  # 直接解析为date类型，比字符串格式省内存
  `Cust-Item-Loc` = dictionary(string())  # 针对重复率高的字符串列，用字典编码压缩
)

Sales_Arrow <- read_csv_arrow(
  "Budget_2023 Sales All.csv",
  col_types = custom_col_types,
  as_data_frame = FALSE
)

2. 延迟collect操作，利用Arrow懒执行优化 #

你当前的代码先collect再做分组排序，会把过滤后的全量数据加载到内存。应将所有操作放在Arrow的懒数据帧上完成，最后再调用collect，让Arrow自动执行查询下推、减少中间数据量：

Current_Price <- Sales_Arrow %>%
  filter(SBPHYP >= 202101) %>%
  group_by(`Cust-Item-Loc`) %>%
  arrange(desc(SBINDT)) %>% 
  slice(1) %>%
  collect()  # 最后一步再将结果加载到内存

3. 分块处理数据集，避免一次性加载全量数据 #

如果优化后内存仍吃紧，用open_dataset替代read_csv_arrow，将CSV按分块读取，分块处理后合并结果：

library(purrr)

# 将CSV作为数据集打开，自动分块
sales_ds <- open_dataset("Budget_2023 Sales All.csv", format = "csv")

# 分块处理：先过滤，在每个分块内取每组最新行，再合并所有分块结果
chunk_results <- sales_ds %>%
  filter(SBPHYP >= 202101) %>%
  iterate_chunks() %>%
  map_dfr(function(chunk) {
    chunk %>%
      group_by(`Cust-Item-Loc`) %>%
      arrange(desc(SBINDT)) %>%
      slice(1) %>%
      collect()
  })

# 处理跨分块的同一组数据，保留全局最新行
Current_Price <- chunk_results %>%
  group_by(`Cust-Item-Loc`) %>%
  arrange(desc(SBINDT)) %>%
  slice(1) %>%
  ungroup()

4. 配置Arrow内存池，启用磁盘溢出 #

设置内存池使用上限，让Arrow在内存不足时自动将数据写入临时磁盘，避免内存耗尽：

# 限制Arrow内存池最大使用10GB（可根据系统空闲内存调整数值）
set_memory_pool_limit(10 * 1024^3)

# 启用磁盘溢出功能
arrow::enable_disk_use()

内容的提问来源于stack exchange，提问作者grislepak