如何用SQL查询对比SQL数据集与本地Pandas DataFrame？

直接在SQL语句中引用本地Pandas DataFrame的列不可行——因为数据库服务器无法访问本地内存中的DataFrame数据。以下是三种实用的替代方案：

方案1：导入本地DataFrame到数据库临时表，用SQL关联对比 #

适合数据量较大的场景，通过临时表让数据库能直接读取本地数据：

import pandas as pd
from sqlalchemy import create_engine

# 本地DataFrame
df_local = pd.DataFrame(data={'col1': [1, 2], 'col2': [3, 4]})

# 建立数据库连接（示例为MySQL，其他数据库语法类似）
engine = create_engine('mysql+pymysql://user:password@host:port/db_name')

# 将本地DataFrame写入临时表（不同数据库临时表语法有差异：PostgreSQL用TEMP TABLE，SQL Server用#前缀）
df_local.to_sql(name='temp_local_data', con=engine, if_exists='replace', index=False)

# 编写SQL查询对比匹配的记录
result = pd.read_sql("""
SELECT s.* 
FROM sql_dataset s
JOIN temp_local_data t
  ON s.col1 = t.col1 
  AND s.col2 = t.col2
""", con=engine)

# 可选：手动清理临时表（部分数据库会在会话结束后自动删除临时表）
with engine.connect() as conn:
    conn.execute("DROP TABLE IF EXISTS temp_local_data")

方案2：参数化生成SQL条件（适合小数据量） #

如果本地DataFrame数据量很小，可将行数据转化为参数化SQL条件，避免直接拼接字符串引发SQL注入：

import pandas as pd
from sqlalchemy import create_engine

df_local = pd.DataFrame(data={'col1': [1, 2], 'col2': [3, 4]})
engine = create_engine('mysql+pymysql://user:password@host:port/db_name')

# 提取DataFrame行数据为参数元组列表
params = list(df_local.itertuples(index=False, name=None))

# 带参数的SQL查询，匹配符合条件的记录
result = pd.read_sql("""
SELECT * 
FROM sql_dataset s
WHERE (s.col1, s.col2) IN %(params)s
""", con=engine, params={'params': params})

方案3：拉取SQL数据到本地，用Pandas内置函数对比 #

若SQL数据集不大，可先将数据拉到本地，用Pandas的merge或compare完成对比：

import pandas as pd
from sqlalchemy import create_engine

df_local = pd.DataFrame(data={'col1': [1, 2], 'col2': [3, 4]})
engine = create_engine('mysql+pymysql://user:password@host:port/db_name')

# 拉取SQL数据集到本地
df_sql = pd.read_sql("SELECT col1, col2 FROM sql_dataset", con=engine)

# 找出两边都存在的匹配记录
matched_records = pd.merge(df_local, df_sql, on=['col1', 'col2'], how='inner')

# 找出本地有但SQL中没有的记录
local_only_records = pd.merge(df_local, df_sql, on=['col1', 'col2'], how='left', indicator=True)
local_only_records = local_only_records[local_only_records['_merge'] == 'left_only'].drop(columns=['_merge'])

内容的提问来源于stack exchange，提问作者euh