如何使用Python Threading并行执行SQL查询并返回结果集

首先要明确：大多数Python数据库驱动的连接对象不是线程安全的，不能在多个线程间共享同一个连接，所以每个线程必须创建独立的数据库连接。

方法1：使用threading.Thread手动管理线程 #

定义两个查询函数，每个函数负责创建连接、执行存储过程并返回结果，通过线程并行执行：

import threading
import pyodbc  # 根据你的数据库驱动替换，比如psycopg2、mysql-connector-python

# 定义查询函数，每个函数创建独立连接
def fetch_players(result_container):
    conn = pyodbc.connect("你的数据库连接字符串")
    cursor = conn.cursor()
    cursor.execute("EXEC SelectAllPlayers")
    result_container["players"] = cursor.fetchall()
    cursor.close()
    conn.close()

def fetch_games(result_container):
    conn = pyodbc.connect("你的数据库连接字符串")
    cursor = conn.cursor()
    cursor.execute("EXEC SelectAllGames")
    result_container["games"] = cursor.fetchall()
    cursor.close()
    conn.close()

# 用字典存储线程返回的结果（线程安全的容器）
result = {}

# 创建并启动线程
thread_players = threading.Thread(target=fetch_players, args=(result,))
thread_games = threading.Thread(target=fetch_games, args=(result,))

thread_players.start()
thread_games.start()

# 等待两个线程执行完成
thread_players.join()
thread_games.join()

# 获取最终结果
AllPlayers = result["players"]
AllGames = result["games"]

方法2：使用concurrent.futures.ThreadPoolExecutor（更简洁） #

用ThreadPoolExecutor可以更方便地管理线程并获取返回结果：

import concurrent.futures
import pyodbc

def fetch_players():
    conn = pyodbc.connect("你的数据库连接字符串")
    cursor = conn.cursor()
    cursor.execute("EXEC SelectAllPlayers")
    data = cursor.fetchall()
    cursor.close()
    conn.close()
    return data

def fetch_games():
    conn = pyodbc.connect("你的数据库连接字符串")
    cursor = conn.cursor()
    cursor.execute("EXEC SelectAllGames")
    data = cursor.fetchall()
    cursor.close()
    conn.close()
    return data

# 并行执行两个查询
with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor:
    future_players = executor.submit(fetch_players)
    future_games = executor.submit(fetch_games)
    
    # 获取结果
    AllPlayers = future_players.result()
    AllGames = future_games.result()

关键注意事项 #

• 替换代码中的pyodbc为你实际使用的数据库驱动，比如psycopg2（PostgreSQL）、mysql-connector-python（MySQL）。
• 确保数据库连接字符串正确，包含服务器地址、数据库名、认证信息等。
• 建议添加异常处理，比如捕获pyodbc.Error来处理数据库连接或查询错误，避免线程崩溃影响主程序。
• 如果查询量较大，可使用连接池（比如pyodbc内置连接池、SQLAlchemy连接池）优化连接创建的开销。

内容的提问来源于stack exchange，提问作者Clandestine