如何在Python中高效关联Excel与SQL数据，仅查询指定ID

嘿，这个场景太常见了——当SQL表的数据量上来后，全量拉取确实既费时间又占资源，咱们可以通过只查询data1中存在的ID对应的SQL数据来优化，下面给你几种靠谱的实现方式：

方法1：使用参数化IN子句（推荐，安全且通用） #

首先从data1里提取唯一的ID（避免重复查询同一个ID），然后用参数化查询把这些ID传给SQL，这样只会返回匹配的行：

import pandas as pd
import pymysql
from sqlalchemy import create_engine, text

# 读取Excel数据
data1 = pd.read_excel('data.xlsx')
# 创建数据库连接引擎
engine = create_engine('...cloudprovider.com/...')

# 提取data1中的唯一ID，去重减少查询压力
unique_ids = data1['id'].unique().tolist()

# 用参数化查询避免SQL注入，同时适配数字/字符串类型的ID
query = text("select id, column3, column4 from customer where id in :ids")
data2 = pd.read_sql_query(query, engine, params={"ids": tuple(unique_ids)})

# 继续执行关联
data = data1.merge(data2, on='id', how='left')

这个方法的好处是：

• 避免手动拼接字符串导致的SQL注入风险
• 自动适配ID是整数或字符串的情况
• 大幅减少从数据库拉取的数据量

方法2：手动拼接IN子句（适合简单场景） #

如果你的ID是整数类型，也可以直接拼接SQL语句，但要注意如果是字符串ID需要加单引号：

整数类型ID： #

unique_ids = data1['id'].unique().tolist()
# 把ID转成字符串并用逗号分隔
id_str = ','.join(map(str, unique_ids))
query = f"select id, column3, column4 from customer where id in ({id_str})"
data2 = pd.read_sql_query(query, engine)

字符串类型ID： #

unique_ids = data1['id'].unique().tolist()
# 给每个字符串ID加单引号
quoted_ids = [f"'{id}'" for id in unique_ids]
id_str = ','.join(quoted_ids)
query = f"select id, column3, column4 from customer where id in ({id_str})"
data2 = pd.read_sql_query(query, engine)

⚠️ 注意：这种方法如果ID包含特殊字符（比如单引号）会报错，而且存在SQL注入风险，所以优先用方法1。

方法3：临时表关联（适合ID数量极大的情况） #

如果data1里的ID数量非常多（比如几万甚至几十万），IN子句可能会让数据库查询变慢，这时候可以把data1的ID导入到数据库的临时表，再用JOIN查询：

import pandas as pd
from sqlalchemy import create_engine, text

data1 = pd.read_excel('data.xlsx')
engine = create_engine('...cloudprovider.com/...')

# 把去重后的ID导入临时表
data1[['id']].drop_duplicates().to_sql('temp_ids', engine, index=False, if_exists='replace')

# 通过JOIN查询匹配的数据
query = """
select c.id, c.column3, c.column4 
from customer c
inner join temp_ids t on c.id = t.id
"""
data2 = pd.read_sql_query(query, engine)

# 关联完成后可以删除临时表（可选）
with engine.connect() as conn:
    conn.execute(text("DROP TABLE temp_ids"))

data = data1.merge(data2, on='id', how='left')

这种方法利用数据库的JOIN优化能力，在ID数量极大时性能更好。

不管用哪种方法，最终data的结构都会和你原来全量查询的结果一致——因为left merge本来就只保留data1中的ID，关联对应的SQL数据，同时避免了全量拉取大表的开销。

内容的提问来源于stack exchange，提问作者Nabih Bawazir