如何在数据库内用dplyr实现行绑定且不加载数据到内存？

你碰到的问题很典型——bind_rows()是针对内存中的数据框（data.frame/tibble）设计的，而tbl_dbi是dplyr对数据库表的懒加载包装，它不会把数据拉到本地内存，所以直接用bind_rows()自然会报错。

要处理这种大表的行绑定，应该让数据库自己完成合并操作，而不是把数据拉到内存里。dplyr提供了对应的函数：

1. 无去重的行合并（对应SQL的UNION ALL） #

这是最常用的场景，直接把两张表的所有行合并，包括重复行：

old <- tbl(conn, 'old_customers')
new <- tbl(conn, 'new_customers')

# 执行数据库端的UNION ALL，不会加载数据到内存
combined <- old %>% union_all(new)

2. 去重的行合并（对应SQL的UNION） #

如果需要自动去除两张表中的重复行，可以用union()：

combined <- old %>% union(new)

关键注意事项 #

• 两张表的列结构必须匹配：列名要一致，对应列的数据类型也要兼容。如果列名不一样，先通过rename()调整：

  # 假设new_customers的列名是cust_id, cust_name，而old是id, name
  new_aligned <- new %>% rename(id = cust_id, name = cust_name)
  combined <- old %>% union_all(new_aligned)
  

• 这个操作是完全在数据库端执行的，所有数据处理都不会占用本地内存，完美适配大表场景。

内容的提问来源于stack exchange，提问作者Minh