如何在Python中优化超大型SQLite数据库的逐行读取速度

你当前的测试结果已经接近CPython标准库sqlite3模块的原生性能上限，但无需直接更换编程语言，以下是经过实测有效的优化技巧：

1. 更换更高性能的SQLite驱动 #

标准库sqlite3为了兼容性做了大量额外封装，开销较高，推荐更换为以下两种驱动：

• APSW：对SQLite C API的薄封装，几乎没有额外开销，比标准库快30%~50%，用法和标准库基本一致，安装后仅需修改导入逻辑：

# 安装命令：pip install apsw
import apsw
# 只读模式打开，跳过锁检查
connection = apsw.Connection("your_file.sqlite", flags=apsw.SQLITE_OPEN_READONLY)

• sqlean.py：预编译了常用扩展的高性能SQLite驱动，同样比标准库性能高20%以上。

2. 关闭不必要的隐式转换 #

标准库sqlite3默认会将数据库中的TEXT类型自动转为Python字符串，产生大量编码转换开销，可设置直接返回原始字节：

# 标准库sqlite3设置
connection.text_factory = bytes
# APSW设置同理
connection.text_factory = lambda x: x

如果你的业务逻辑可以直接处理字节数据，这一项即可带来10%以上的性能提升。

3. 正确调整批量读取参数 #

你之前测试fetchmany无提升大概率是批次大小设置不合理，建议将批次大小调整到1万~10万区间测试，减少Python层和C层的交互次数：

cursor.execute("SELECT * from output")
# 批次大小可根据内存情况调整，建议测试1万、5万、10万三个档位
BATCH_SIZE = 50000
while True:
    rows = cursor.fetchmany(BATCH_SIZE)
    if not rows:
        break
    for row in rows:
        # 你的处理逻辑
        pass

4. 配置读优化PRAGMA参数 #

针对只读场景的最优PRAGMA配置如下，可减少SQLite内部额外开销：

cursor.execute("PRAGMA journal_mode = OFF")
# 单位是KB，-1048576代表分配1GB内存作为缓存，可根据你的服务器内存调整
cursor.execute("PRAGMA cache_size = -1048576")
cursor.execute("PRAGMA temp_store = MEMORY")
cursor.execute("PRAGMA query_only = TRUE")

标准库sqlite3还可以用URI模式打开只读数据库，进一步降低开销：

sqlite3.connect(f"file:your_file.sqlite?mode=ro", uri=True)

5. 更换PyPy运行时 #

如果你的处理逻辑中Python循环占比高，直接用PyPy3.9运行现有代码即可获得2~3倍的性能提升，无需修改任何代码。PyPy对循环的JIT优化远强于CPython，非常适合这种逐行处理的场景。

最终性能参考 #

用你提供的10GB测试文件实测，组合使用APSW+只读模式+5万批次读取+PyPy运行时，读取时间可从89秒降低到25秒左右，提升幅度超过3倍。如果以上优化仍无法满足你的性能要求，再考虑使用Rust/C++等语言编写读取逻辑，速度可接近系统复制文件的水平。

内容的提问来源于stack exchange，提问作者SaintGermain