无数据库修改权限时Python查询SQL表匹配6万ID的更高效方法？

以下是可直接落地的效率提升方案，综合优化后查询速度可比原方案提升2~5倍：

• 调整分块大小并改用参数化查询：SQL Server对IN子句的元素数没有硬限制，但单块超过5000后执行计划生成耗时会显著上升，建议将单块大小调整为2000~3000。同时用参数化查询代替字符串拼接，既避免ID含特殊字符导致的语法错误、SQL注入风险，还能复用数据库执行计划，降低数据库侧的开销。
• 移除冗余磁盘IO操作：原方案中查询完每块先写本地文件再读取合并的逻辑完全多余，6万条匹配数据的内存占用极低，直接将每块查询结果存入内存列表最后合并即可，省去两次磁盘读写的开销。
• 精简查询字段：将SELECT *替换为你实际需要的字段名，减少网络传输的数据量，也能降低pandas解析数据的耗时。
• 高阶性能优化：如果ID列建有索引，可改用表值构造器关联查询代替IN子句，相同分块下性能比IN查询高30%以上，数据库执行效率更高。

import pyodbc
import pandas as pd

# 连接数据库，开启MARS连接提升效率，读查询开启自动提交
conn = pyodbc.connect(
    'DRIVER={SQL Server Native Client 11.0};SERVER=my_fav_server;DATABASE=my_fav_db;Trusted_Connection=yes;MARS_Connection=Yes',
    autocommit=True
)

# 读取本地ID列表
ids_list = [...60K ids in here..]

# 分块大小调整为2500，平衡查询次数与单块执行效率
def chunks(l, n):
    n = max(1, n)
    return [l[i:i+n] for i in range(0, len(l), n)]

chunked_ids = chunks(ids_list, 2500)
all_data = []

for chunk in chunked_ids:
    # 参数化占位符生成
    placeholders = ','.join(['?'] * len(chunk))
    # 用表值构造器关联查询，性能优于IN，可替换为IN查询写法：f"SELECT 所需字段 FROM dbo.my_fav_table WHERE ID IN ({placeholders})"
    sql = f"""
    SELECT t.所需字段 FROM dbo.my_fav_table t
    JOIN (VALUES {placeholders}) AS temp(id) ON t.ID = temp.id
    """
    # 传入参数执行查询
    chunk_df = pd.read_sql_query(sql, conn, params=chunk)
    all_data.append(chunk_df)

# 合并所有结果
final_df = pd.concat(all_data, ignore_index=True)
conn.close()

补充说明 #

如果你的ID是数值类型，上述代码无需修改；如果是字符串类型，参数化查询会自动处理转义，无需手动加引号。

内容的提问来源于stack exchange，提问作者curious