如何在R中实现SQL表分批循环读取并合并（无重复）

你的代码存在逻辑冗余与变量注入错误，导致SQL无法识别循环索引，以下是针对性的修正方案：

核心问题梳理 #

• SQL语句中直接使用R变量J，SQL引擎无法识别R环境中的变量
• 嵌套循环完全多余，会导致重复读取相同数据
• OFFSET起始值错误，应从0开始而非1，否则会跳过第一行数据
• sequence生成逻辑不符合分批读取的需求

修正后的Base R版本代码 #

library(dplyr)
library(DBI)

con <- dbConnect(RSQLite::SQLite(), ":memory:")
# 生成正确的偏移序列：0,100,...,900，对应10次分批读取
offset_seq <- seq(from = 0, to = 900, by = 100)
the_list <- list()

for (i in seq_along(offset_seq)) {
  # 将R变量的数值注入SQL语句
  query <- sprintf("SELECT * FROM my_table ORDER BY ID LIMIT 100 OFFSET %d;", offset_seq[i])
  result <- DBI::dbGetQuery(con, query)
  the_list[[i]] <- result
}

final <- do.call(rbind.data.frame, the_list)

更简洁的tidyverse实现 #

如果习惯使用tidyverse工具链，可以用purrr简化循环逻辑：

library(dplyr)
library(DBI)
library(purrr)

con <- dbConnect(RSQLite::SQLite(), ":memory:")
offset_seq <- seq(0, 900, 100)

final <- map_dfr(offset_seq, function(offset) {
  dbGetQuery(con, sprintf("SELECT * FROM my_table ORDER BY ID LIMIT 100 OFFSET %d;", offset))
})

关键注意事项 #

• 必须保留ORDER BY ID保证排序稳定，否则分批读取可能出现重复或遗漏（依赖ID为唯一有序字段）
• 若表的总行数不是100的整数倍，最后一次读取会自动返回剩余行数，不影响最终合并结果

内容的提问来源于stack exchange，提问作者stats_noob