Mac下readxl读取谷歌云端硬盘Excel时提前同步本地的问题求助

在MacOS 15.3环境下，即使将Google Drive设置为「流式文件」模式，使用R的readxl包读取云端存储的1000个Excel文件时，每个文件仍会先完整同步到本地才开始处理，导致速度极慢甚至任务终止。相同设置下Windows 11环境无此问题，且两边R、readxl、data.table版本完全一致。

一、Google Drive设置调整 #

• 检查缓存配置：打开Google Drive偏好设置→「高级」→「缓存设置」，将缓存大小设为系统允许的最大值，避免因缓存不足导致文件反复同步。
• 确认流式模式完整性：在偏好设置→「谷歌云端硬盘」中，确保仅勾选「流式文件」，未开启「仅在线打开文件」等可能强制本地同步的细分选项。
• 重置同步状态：退出Google Drive，删除~/Library/Application Support/Google/Drive目录下的缓存文件（提前备份本地重要文件），重新登录后等待同步初始化完成，再运行代码。

二、代码层面替代方案 #

1. 基于Google Drive API直接读取（彻底绕过本地同步） #

使用googledrive包直接从云端获取文件内容，无需依赖本地同步机制，适合大规模文件处理：

library(googledrive)
library(readxl)
library(data.table)

# 首次运行会弹出浏览器授权Google Drive访问权限
drive_auth()

# 替换为目标云端文件夹的ID（从文件夹URL末尾提取）
target_folder_id <- "xxxxxxxxx"

# 获取文件夹下所有Excel文件
cloud_files <- drive_ls(path = target_folder_id, type = "xlsx")

# 批量读取并处理
processed_data <- lapply(cloud_files$id, function(file_id) {
  # 将文件临时下载到内存临时文件
  temp_local <- drive_download(file_id, path = tempfile(fileext = ".xlsx"), overwrite = TRUE, quiet = TRUE)
  
  # 检查目标工作表是否存在
  sheet_names <- excel_sheets(temp_local$local_path)
  if ("Paste Here" %in% sheet_names) {
    dt <- as.data.table(read_excel(temp_local$local_path, sheet = "Paste Here"))
    # 在此添加你的后续数据处理逻辑
    return(dt)
  } else {
    return(NULL)
  }
})

# 合并所有有效数据
final_result <- rbindlist(processed_data, fill = TRUE)

2. 预同步后本地读取 #

如果希望保留原有代码逻辑，可先手动完成批量同步：

• 在Google Drive中找到目标文件夹，右键选择「保持离线可用」，等待全量同步完成后，将代码中的文件路径替换为本地同步文件夹的路径，再运行原循环逻辑。

3. 优化原循环的IO效率 #

减少不必要的文件访问操作，提前过滤出包含目标工作表的文件：

library(readxl)
library(data.table)

# 先筛选出存在「Paste Here」工作表的有效文件
valid_files <- files[sapply(files, function(file) {
  # 捕获文件访问错误，避免中断循环
  tryCatch("Paste Here" %in% excel_sheets(file), error = function(e) FALSE)
})]

# 仅处理有效文件
for (file in valid_files) {
  dt <- as.data.table(read_excel(file, sheet = "Paste Here"))
  # 后续处理逻辑
}

内容的提问来源于stack exchange，提问作者John Dunn