如何在R的aws.s3/paws中实现S3同步时排除指定目录？

使用aws.s3包实现 #

由于aws.s3::s3sync()没有内置排除参数，我们可以手动列出桶内文件、过滤掉目标目录后再批量下载：

library(aws.s3)

# 配置核心参数
bucket_name <- "my_bucket"
prefix <- "my_prefix/"
exclude_dir <- "bad_directory/"
local_dest <- "./my_destination/"

# 获取桶内指定前缀下的所有对象
all_objects <- get_bucket(bucket = bucket_name, prefix = prefix, max = Inf)

# 提取对象键并过滤掉包含排除目录的文件
object_keys <- sapply(all_objects, function(x) x$Key)
filtered_keys <- object_keys[!grepl(paste0(".*", exclude_dir, ".*"), object_keys)]

# 循环下载过滤后的文件
for (key in filtered_keys) {
  # 构建本地存储路径
  local_path <- file.path(local_dest, sub(prefix, "", key))
  # 自动创建所需的本地目录
  dir.create(dirname(local_path), recursive = TRUE, showWarnings = FALSE)
  # 下载文件到本地
  save_object(object = key, bucket = bucket_name, file = local_path)
}

使用paws包实现 #

paws提供了更贴近AWS原生API的客户端，同样通过先列取、过滤再下载的方式实现需求，同时支持自动处理分页（避免因文件数量过多遗漏）：

library(paws)

# 初始化S3客户端
s3 <- s3()

# 配置核心参数
bucket_name <- "my_bucket"
prefix <- "my_prefix/"
exclude_dir <- "bad_directory/"
local_dest <- "./my_destination/"

# 列出指定前缀下的所有对象（处理分页）
all_objects <- list()
continuation_token <- NULL
repeat {
  resp <- s3$list_objects_v2(
    Bucket = bucket_name,
    Prefix = prefix,
    ContinuationToken = continuation_token
  )
  all_objects <- c(all_objects, resp$Contents)
  if (!resp$IsTruncated) break
  continuation_token <- resp$NextContinuationToken
}

# 提取对象键并过滤排除目录下的文件
object_keys <- sapply(all_objects, function(x) x$Key)
filtered_keys <- object_keys[!grepl(paste0(".*", exclude_dir, ".*"), object_keys)]

# 循环下载文件
for (key in filtered_keys) {
  local_path <- file.path(local_dest, sub(prefix, "", key))
  dir.create(dirname(local_path), recursive = TRUE, showWarnings = FALSE)
  # 读取S3文件内容并写入本地
  file_content <- s3$get_object(Bucket = bucket_name, Key = key)
  writeBin(file_content$Body, local_path)
}

注意事项 #

• 正则表达式可根据实际目录结构调整：如果要排除的是前缀式目录（如my_prefix/bad_directory/），可以用^.*bad_directory/来更精准匹配，避免误过滤类似名称的文件
• 下载大量文件时，建议添加tryCatch错误处理，防止单个文件下载失败导致整个循环中断
• 确保R环境已正确配置AWS凭证（如通过环境变量、~/.aws/credentials文件等）

内容的提问来源于stack exchange，提问作者burchz