无法使用AWS EMR时，如何在本地R中处理超内存数据？

以下是几个能在本地R环境中处理大体积CSV数据、避免内存溢出的可行方案，均支持直接读取AWS S3存储的数据：

1. 基于Arrow的分块数据集处理 #

Arrow框架原生支持S3访问，能以分块方式读取数据，无需一次性加载全量数据到内存，且兼容dplyr语法，处理逻辑和sparklyr高度相似，学习成本低。

# 安装依赖包
install.packages(c("arrow", "dplyr"))
library(arrow)
library(dplyr)

# 配置AWS凭证（可通过环境变量、~/.aws/credentials文件或直接设置）
Sys.setenv(
  AWS_ACCESS_KEY_ID = "你的AWS访问密钥ID",
  AWS_SECRET_ACCESS_KEY = "你的AWS秘密访问密钥"
)

# 打开S3上的CSV数据集（支持单文件或多文件目录）
csv_dataset <- open_dataset(
  "s3://你的存储桶路径/目标CSV文件或目录/",
  format = "csv",
  skip_rows = 1, # 如果CSV有表头，跳过首行
  col_types = schema( # 提前指定列类型，避免类型推断错误
    id = int64(),
    value = float64(),
    timestamp = timestamp()
  )
)

# 执行数据处理操作（过滤、转换等）
processed_data <- csv_dataset %>%
  filter(value > 100) %>%
  mutate(adjusted_value = value * 1.2) %>%
  select(id, adjusted_value, timestamp)

# 将处理结果导出到S3或本地（推荐用Parquet格式，压缩率高、读取快）
write_dataset(
  processed_data,
  "s3://你的存储桶路径/处理后数据目录/",
  format = "parquet"
)

2. data.table分块读取+逐块处理 #

data.table的fread函数内存效率极高，支持直接读取S3路径（需配置AWS凭证），通过循环分块读取并处理数据，适合对内存控制要求严格的场景。

install.packages(c("data.table", "aws.s3"))
library(data.table)
library(aws.s3)

# 配置AWS凭证
Sys.setenv(
  AWS_ACCESS_KEY_ID = "你的AWS访问密钥ID",
  AWS_SECRET_ACCESS_KEY = "你的AWS秘密访问密钥"
)

# 获取S3文件总行数（用于计算分块次数）
file_path <- "s3://你的存储桶路径/目标CSV文件.csv"
header <- fread(file_path, nrows = 1)
total_rows <- as.integer(get_object(file_path, parse_response = FALSE) %>% 
                           rawToChar() %>% 
                           strsplit("\n") %>% 
                           unlist() %>% 
                           length()) - 1 # 减去表头行

# 设置分块大小（根据本地内存调整，比如8GB内存设为100万行）
chunk_size <- 1000000
num_chunks <- ceiling(total_rows / chunk_size)

# 循环处理每个分块
for (i in 0:(num_chunks - 1)) {
  skip_rows <- i * chunk_size + 1 # 跳过已处理的行+表头
  chunk <- fread(file_path, skip = skip_rows, nrows = chunk_size, col.names = names(header))
  
  # 在这里执行你的数据处理逻辑
  chunk <- chunk[value > 100, .(id, adjusted_value = value * 1.2, timestamp)]
  
  # 将处理后的分块写入临时文件或直接追加到结果文件
  fwrite(chunk, "本地处理结果.csv", append = (i != 0))
}

3. 本地Spark+sparklyr #

如果你的本地机器有足够的CPU和内存，可以直接在本地部署Spark，继续使用sparklyr进行处理，逻辑和EMR上完全一致，只是计算资源换成本地。

install.packages("sparklyr")
library(sparklyr)

# 安装本地Spark（首次运行需要，后续可跳过）
spark_install(version = "3.5.0")

# 连接本地Spark集群（local[*]表示使用所有可用CPU核心）
sc <- spark_connect(master = "local[*]")

# 配置AWS凭证，让Spark能访问S3
spark_config(sc) <- list(
  spark.hadoop.fs.s3a.access.key = "你的AWS访问密钥ID",
  spark.hadoop.fs.s3a.secret.key = "你的AWS秘密访问密钥",
  spark.hadoop.fs.s3a.impl = "org.apache.hadoop.fs.s3a.S3AFileSystem"
)

# 读取S3上的CSV数据
spark_data <- spark_read_csv(
  sc,
  name = "s3_data",
  path = "s3://你的存储桶路径/目标CSV文件或目录/",
  header = TRUE,
  infer_schema = FALSE,
  schema = "id BIGINT, value DOUBLE, timestamp TIMESTAMP"
)

# 执行数据处理（和EMR上的sparklyr代码完全一致）
processed_spark <- spark_data %>%
  filter(value > 100) %>%
  mutate(adjusted_value = value * 1.2) %>%
  select(id, adjusted_value, timestamp)

# 将处理结果导出到S3或本地
spark_write_parquet(processed_spark, path = "s3://你的存储桶路径/处理后数据/")

# 断开Spark连接
spark_disconnect(sc)

4. 数据库中转处理 #

将S3的CSV数据导入本地关系型数据库（如PostgreSQL），利用数据库的磁盘存储和查询优化能力处理数据，R仅作为查询接口，几乎不会占用内存。

步骤： #

1. 安装PostgreSQL并启用aws_s3扩展（用于直接从S3导入数据）
2. 在PostgreSQL中执行导入命令：

CREATE TABLE raw_data (
  id BIGINT,
  value DOUBLE PRECISION,
  timestamp TIMESTAMP
);

-- 从S3导入CSV数据
SELECT aws_s3.table_import_from_s3(
  'raw_data',
  '',
  '(FORMAT csv, HEADER true)',
  '你的存储桶',
  '目标CSV文件.csv',
  '你的AWS区域'
);

3. 在R中连接数据库并处理数据：

install.packages(c("DBI", "dplyr", "RPostgres"))
library(DBI)
library(dplyr)

# 连接PostgreSQL数据库
con <- dbConnect(RPostgres::Postgres(),
                 dbname = "你的数据库名",
                 host = "localhost",
                 port = 5432,
                 user = "你的用户名",
                 password = "你的密码")

# 执行数据处理（逻辑在数据库端执行，R仅获取结果）
processed_data <- tbl(con, "raw_data") %>%
  filter(value > 100) %>%
  mutate(adjusted_value = value * 1.2) %>%
  select(id, adjusted_value, timestamp) %>%
  collect() # 仅当需要将结果加载到内存时使用，否则可直接写入数据库

# 将结果导出到本地或S3
write.csv(processed_data, "处理结果.csv", row.names = FALSE)

# 断开数据库连接
dbDisconnect(con)

注意事项： #

• 所有方案都需要确保本地环境已配置AWS凭证（环境变量、~/.aws/credentials文件或代码中直接设置），以访问S3存储。
• 根据本地机器的内存大小调整分块参数，避免单次加载的数据量超过可用内存。
• 本地处理大体积数据耗时会显著长于EMR，建议在后台运行（如使用nohup Rscript your_script.R &），避免终端中断导致任务失败。

内容的提问来源于stack exchange，提问作者Alberto Agudo Dominguez