为何多线程无法加速SQLAlchemy对SQLite数据库的查询请求？

嘿，咱们来拆解下为什么你的多线程SQLite方案没达到预期的I/O效率提升——这可是SQLite使用中超级常见的坑！

首先得给你划个核心重点：SQLite有写操作全局锁，不管你开多少线程，同一时间只能有一个线程在写数据库。它不像MySQL这类客户端/服务器型数据库支持多并发写，这是很多人用多线程优化时第一个踩的雷。

接下来咱们结合你的场景一步步排查：

1. 先搞清楚你的操作是读还是写？ #

• 如果是批量写操作：多线程不仅帮不上忙，反而会因为锁竞争导致线程频繁等待，速度反而变慢。这种情况反而推荐单线程批量插入，或者用SQLite的executemany()批量提交；更关键的是开启PRAGMA journal_mode=WAL（预写日志）模式——WAL能让读和写并发，虽然写还是单线程，但至少读操作不会被写阻塞。
• 如果是读操作：SQLite默认的SERIALIZABLE隔离级别会让读操作也等待写锁，但开启WAL模式后，读操作可以在写操作进行时同时执行，这时候多线程读才能真正发挥作用。

2. 数据库连接的使用方式是否正确？ #

SQLite的数据库连接绝对不是线程安全的！每个线程必须用独立的连接对象，不能多个线程共享同一个连接。如果你的代码里是多个线程共用一个连接，那不仅没法并发，还会出现锁冲突甚至程序崩溃。

用SQLAlchemy的话，正确的做法是每个线程创建独立的会话：

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

# 创建引擎，注意SQLite的连接字符串格式
engine = create_engine('sqlite:///your_database.db')
# 生成会话工厂，每个线程调用时创建独立会话
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)

def worker_thread():
    # 每个线程单独获取会话
    db_session = SessionLocal()
    try:
        # 在这里执行你的数据库操作（查询/插入等）
        pass
    finally:
        # 操作完成后务必关闭会话
        db_session.close()

3. 你的操作真的是I/O瓶颈吗？ #

600万行的数据，如果是简单的主键查询这类操作，单线程可能已经足够快——毕竟SQLite是本地数据库，I/O本身就很高效。这时候多线程带来的线程切换开销可能超过I/O节省的时间，反而得不偿失。

建议先做个单线程基准测试，记录下耗时，再对比多线程的结果。如果提升不明显，要么是操作本身不是I/O瓶颈，要么就是SQLite的锁机制限制了并发能力。

4. 开启WAL模式的关键配置 #

如果你的场景是混合读写，一定要开启WAL，这是SQLite提升并发能力的核心：

# 在创建连接后执行这两个配置（SQLAlchemy会话里也可以执行）
db_session.execute("PRAGMA journal_mode=WAL;")
# 可选：NORMAL模式会降低同步频率，提升写速度，但牺牲一点崩溃后的恢复安全性
db_session.execute("PRAGMA synchronous=NORMAL;")

WAL模式下，写操作会先写入日志文件，而非直接修改主数据库文件，这样读操作可以正常读取主文件，写操作同时写日志，实现读写并发。

总结一下 #

• 写操作：单线程批量处理 + WAL模式是最优解，多线程写完全没用
• 读操作：多线程+独立连接+WAL模式，才能有效提升并发读效率
• 永远不要让多个线程共享同一个数据库连接

内容的提问来源于stack exchange，提问作者Steven G