R并行导入SQL Server数据异常：数据未合并/重复问题求助

看起来你遇到的核心问题是并行环境下变量无法共享更新，加上日期查询逻辑的小疏漏，导致重复数据或结果不正确。咱们一步步来修复：

原代码的核心问题 #

1. 年份迭代失效：并行时每个worker都有独立的运行环境，你依赖start_year递增的方式完全不起作用——所有worker拿到的start_year都是初始的2010，所以所有查询都针对同一个时间范围，自然返回重复数据。用%do%时因为注释掉了start_year <- start_year +1，每次循环都覆写同一个年份的数据。
2. 缺少并行环境的包加载：rxImport属于RevoScaleR包，并行worker默认不会自动加载这个包，需要显式指定。
3. 日期查询逻辑重复：原查询用DATE >= 'YYYY-12-31'会包含上一年的最后一天，导致相邻年份的数据重复（比如2010-12-31会被2010和2011的查询都包含）。

修正后的代码 #

library(foreach)
library(doParallel)
library(RevoScaleR)  # 确保加载rxImport所属的包

numCores <- detectCores()
nr_years <- 8
start_year <- 2010

# 生成要处理的年份序列：2010到2017（共8年）
years_to_process <- start_year:(start_year + nr_years - 1)

system.time({
  registerDoParallel(numCores)
  # 遍历年份序列，每个迭代处理一个独立年份
  combined_df <- foreach(
    y = years_to_process,
    .combine = rbind,
    .packages = "RevoScaleR"  # 告诉每个worker加载必要的包
  ) %dopar% {
    # 构建当前年份的查询范围：全年数据，无重叠
    date_start <- paste0(y, "-01-01")
    date_end <- paste0(y, "-12-31")
    
    myQuery <- RxSqlServerData(
      sqlQuery = sprintf(
        "SELECT DATE,CLIENT_NO,MAT_ST FROM DBO.DATA_TABLE WHERE DATE >= '%s' AND DATE <= '%s'",
        date_start, date_end
      ),
      connectionString = connStr,
      returnDataFrame = TRUE
    )
    
    rxImport(myQuery)
  }
})

关键修改说明 #

1. 直接遍历年份序列：提前生成要处理的年份向量years_to_process，foreach直接遍历这个向量，每个迭代拿到独立的年份y，彻底避免并行环境下的变量共享问题。
2. 显式指定.packages：并行worker需要加载RevoScaleR才能使用rxImport，所以在foreach参数里加上.packages = "RevoScaleR"确保每个worker都能调用相关函数。
3. 修正日期查询逻辑：改为查询每个年份的1月1日到12月31日，确保年份数据不重叠，避免重复观测值。
4. 存储合并结果：把foreach的结果赋值给combined_df，最终就能得到所有年份合并后的完整DataFrame。

额外注意事项 #

• 如果你的connStr包含敏感信息（比如密码），确保它在全局环境中可以被所有worker访问到，或者在foreach迭代里重新构建连接字符串。
• 可以根据SQL Server的性能调整numCores，不一定需要用满所有核心，避免对数据库造成过大压力。

内容的提问来源于stack exchange，提问作者Vesnič