使用R同时查询两个数据库：无需预拉取全量数据的内连接问询

完全可以通过单条查询语句关联两个不同数据库的数据，并且能做到无需预先拉取全量数据。具体实现依赖于你使用的数据库系统，核心是利用数据库的跨库访问能力，让查询优化器智能推送过滤/关联条件到远端数据库，只拉取必要的数据而非全量。

常见数据库的实现方式 #

MySQL #

使用FEDERATED存储引擎，将远端数据库的表映射成本地的Federated表，之后就可以像操作本地表一样执行INNER JOIN查询。关键是要确保关联条件能被优化器识别，让MySQL只从DB1拉取与DB2中2k行匹配的行（而非全量20M行）。示例语句：

-- 先创建Federated表映射DB2的目标表
CREATE TABLE db2_table_fed (
  id INT PRIMARY KEY,
  join_col VARCHAR(50)
) ENGINE=FEDERATED CONNECTION='mysql://user:pass@db2_host/db2/db2_table';

-- 执行跨库关联查询，优化器会推送关联条件到DB1，只拉取匹配的数据
SELECT *
FROM db1.db1_table t1
INNER JOIN db2_table_fed t2
  ON t1.join_col = t2.join_col;

PostgreSQL #

通过foreign data wrapper (FDW)（比如postgres_fdw）创建外部表，之后即可执行跨库关联。PostgreSQL的查询优化器会自动评估，优先在远端数据库执行过滤，只拉取需要的关联数据。示例：

-- 创建服务器连接
CREATE SERVER db2_server FOREIGN DATA WRAPPER postgres_fdw OPTIONS (host 'db2_host', dbname 'db2');

-- 创建用户映射
CREATE USER MAPPING FOR current_user SERVER db2_server OPTIONS (user 'db2_user', password 'db2_pass');

-- 创建外部表
CREATE FOREIGN TABLE db2_table_fed (
  id INT,
  join_col VARCHAR(50)
) SERVER db2_server OPTIONS (schema_name 'public', table_name 'db2_table');

-- 执行关联查询，优化器会推送条件到远端，避免全量拉取
SELECT *
FROM db1_table t1
INNER JOIN db2_table_fed t2
  ON t1.join_col = t2.join_col;

SQL Server #

使用**链接服务器（Linked Server）**配置跨库访问，之后通过四部分名称（[服务器名].[数据库名].[架构名].[表名]）执行关联查询。只要关联条件合理，SQL Server的查询优化器会生成执行计划，只从远端拉取匹配的数据。示例：

-- 配置链接服务器（可通过SSMS图形界面或系统存储过程完成）
EXEC sp_addlinkedserver 'DB2_Server', '', 'SQLNCLI', 'db2_host';
EXEC sp_addlinkedsrvlogin 'DB2_Server', 'false', NULL, 'db2_user', 'db2_pass';

-- 执行跨库关联查询
SELECT *
FROM DB1.dbo.db1_table t1
INNER JOIN DB2_Server.DB2.dbo.db2_table t2
  ON t1.join_col = t2.join_col;

避免全量拉取的关键要点 #

• 确保关联列有索引：DB1的关联字段（join_col）需要创建索引，这样远端数据库能快速定位匹配的行，无需扫描全表；DB2的关联字段也建议加索引，提升匹配效率。
• **避免SELECT ***：只查询需要的字段，减少数据传输量。
• 验证执行计划：通过EXPLAIN（MySQL/PostgreSQL）或SET SHOWPLAN_XML ON（SQL Server）查看执行计划，确认是否在远端数据库执行了过滤，而非拉取全量数据后再本地关联。

内容的提问来源于stack exchange，提问作者Dawid Magdoń