R语言disk.frame处理大数据集操作报错，寻求技术指导

核心问题分析 #

从错误提示和警告信息来看，问题根源很明确：

1. srckeep仅保留了分组所需的列，漏掉了聚合计算必须用到的列（OldSales、OldCost、OldCost_Net、Qty），导致disk.frame无法找到这些列执行sum操作，进而触发解析错误。
2. 警告明确提示“必须手动指定srckeep的所有必要列”，而你当前的srckeep仅包含分组键，未覆盖聚合计算依赖的列。

修正后的代码 #

setup_disk.frame()
Test_DF <- csv_to_disk.frame("test results.csv")

# 修正srckeep，包含所有需要的列：分组列 + 聚合计算列
Test_DF <- Test_DF %>%
  srckeep(
    "Cust(Child)-Entity", "ParentCustName", "Item-Entity", "SBLOC", 
    "Pred_Entity_Loc", "SBPHYP", "OldSales", "OldCost", "OldCost_Net", "Qty"
  ) %>%
  group_by(
    `Cust(Child)-Entity`, ParentCustName, `Item-Entity`, SBLOC, 
    Pred_Entity_Loc, SBPHYP
  ) %>% 
  summarise(
    Historical_Sales = sum(OldSales, na.rm = TRUE), 
    Historical_COGS = sum(OldCost, na.rm = TRUE), 
    Historical_Net_COGS = sum(OldCost_Net, na.rm=TRUE), 
    Historical_Qty = sum(Qty, na.rm=TRUE),
    .groups = "drop"  # 可选：显式取消分组，避免后续操作触发警告
  ) %>%
  collect()

关键注意事项 #

• srckeep的本质：它是disk.frame的列筛选工具，仅保留指定列，所有后续操作需要用到的列必须提前声明——包括分组键和计算用的列，不能只留分组列。
• 特殊列名处理：对于包含括号、减号等特殊字符的列名，必须用反引号（`）包裹，你的代码中这部分已经正确处理。
• 分步排查：可以拆分步骤执行，比如先执行srckeep后用head()确认列是否完整，再执行分组聚合，方便定位问题。

内容的提问来源于stack exchange，提问作者grislepak