R Markdown大数据集编织缓慢问题求助

问题3：你对cache=TRUE的理解是否正确？ #

你的核心认知是对的——cache=TRUE的作用就是缓存代码块的执行结果，避免重复运行耗时的步骤。但你对cache.lazy=FALSE的作用理解有偏差：

• 最初的报错是因为R默认的延迟加载（lazy load）缓存机制无法处理超大对象（9000万行的数据集属于长向量，超出了该机制的处理上限）。
• cache.lazy=FALSE并没有取消缓存，而是切换为非延迟加载的方式存储缓存对象。你觉得耗时没减少，大概率是刚添加这个参数后的第一次编织——第一次还是要完整加载数据并写入缓存，第二次及以后的编织才会跳过加载步骤，直接复用缓存结果。

问题1：能否缓存加载9000万行数据集的代码块？ #

可以，但要避开延迟加载的限制，具体方案：

• 使用cache=TRUE + cache.lazy=FALSE的组合，这是适配超大对象的缓存方式。
• 注意事项：
  • 缓存文件体积会非常大，确保磁盘有足够剩余空间。
  • 第一次运行仍需等待数据加载完成，后续编织才能享受到缓存提速。
  • 你设置的cache.extra=file.mtime('my-precious.csv')是正确的——当原始CSV文件更新时，缓存会自动失效并重新加载数据。

问题2：规避重复加载的更优方法？ #

除了调整缓存参数，还有几个更高效的方案：

• 预处理并保存为二进制格式：
  先单独运行加载数据的代码，把处理后的数据集用saveRDS()保存为R专用的二进制文件：

  data <- read.csv("my-precious.csv")
  saveRDS(data, "processed_data.rds")
  

  之后在R Markdown里直接读取这个二进制文件，速度远快于加载CSV：

  data <- readRDS("processed_data.rds")
  

• 分离数据处理与报告渲染：
  把数据加载、预处理的逻辑放到独立的R脚本中，只在数据更新时运行一次；R Markdown仅负责读取预处理好的文件、生成报告，彻底避免重复加载原始数据。
• 临时禁用数据加载chunk的执行：
  调整格式时，给数据加载的代码块加上eval=FALSE，直接复用全局环境中已加载的数据集；等格式调整完毕，再改回eval=TRUE进行最终的完整渲染。
• 指定独立缓存目录：
  用cache.path参数把缓存文件放到单独的文件夹，方便管理和清理：

  ```{r load-data, cache=TRUE, cache.lazy=FALSE, cache.extra=file.mtime('my-precious.csv'), cache.path='cache/'}
  data <- read.csv("my-precious.csv")
  

内容的提问来源于stack exchange，提问作者Tee