为何R Arrow的open_dataset耗尽内存致系统崩溃，选择性查询却正常？

执行df <- open_dataset("datos_2023.parquet")时系统内存快速耗尽，导致卡顿、强制关闭R甚至Windows蓝屏，但执行open_dataset("datos_2023.parquet") %>% select(value) |> collect() |> sum()却能几秒完成，旧笔记本运行相同代码无异常，使用arrow 17.0.0.1版本。

1. RStudio自动预览触发意外加载：open_dataset()返回的Arrow Dataset对象本身是惰性的（不会立即加载全量数据），但如果使用RStudio，当对象被赋值到全局环境后，RStudio的环境面板会自动尝试预览对象结构（比如调用head()或str()）。若数据集包含大量列、单行列数据量极大，这个预览操作会意外触发大量数据加载，直接导致内存溢出。而链式操作中Dataset对象未进入全局环境，不会触发自动预览，仅执行了指定列的筛选和聚合，因此内存占用极低。
2. 新旧笔记本环境差异：旧笔记本可能使用了不同版本的RStudio（未开启自动预览或对Dataset对象的预览逻辑不同），或是系统虚拟内存配置、R的内存限制设置不同，避免了内存耗尽问题。
3. Arrow旧版本兼容性bug：arrow 17.0.0.1属于较旧版本，可能存在Dataset对象在特定环境下被意外触发加载的兼容性问题，新版本已修复此类情况。

• 关闭RStudio自动预览：打开RStudio的Tools -> Global Options -> Environment，取消勾选"Show previews of objects in environment pane"，避免自动触发数据加载。
• 避免全局环境暴露Dataset对象：使用invisible()包裹赋值语句，阻止RStudio自动预览：

  invisible(df <- open_dataset("datos_2023.parquet"))
  

  或直接在链式操作中使用Dataset对象，不赋值到全局环境。
• 升级Arrow版本：更新到最新版arrow，修复旧版本的兼容性问题：

  install.packages("arrow")
  

• 手动控制预览数据量：若需要查看Dataset结构，手动调用head(df, n=10)或select(df, 指定列名)来限制加载的行数/列数，避免全量加载。

内容的提问来源于stack exchange，提问作者MANUEL ALEJANDRO RODRIGUEZ ORT