如何通过SQLAlchemy/SQLite只读模式减少磁盘IO并解决锁问题

1. 开启SQLite只读模式 #

完全可以将数据库设置为只读模式，这会直接规避大部分锁问题——SQLite在只读模式下不会尝试获取写锁，多进程并发读取时也不会产生锁等待，从根源上解决进程因锁等待陷入D状态的问题。

在SQLAlchemy中配置只读模式有两种方式：

• 通过连接字符串添加mode=ro参数：

  from sqlalchemy import create_engine
  
  engine = create_engine("sqlite:////path/to/your/db.sqlite?mode=ro")
  

• 或者通过connect_args传递参数：

  engine = create_engine(
      "sqlite:////path/to/your/db.sqlite",
      connect_args={"mode": "ro"}
  )
  

开启只读模式后，SQLite会跳过所有写相关的锁机制和事务逻辑，所有查询直接执行，不会因锁等待触发IO阻塞。

2. 关于隔离级别的疑问 #

READ UNCOMMITTED在SQLite中几乎没有实际作用，因为SQLite默认隔离级别是SERIALIZABLE，且本身不支持脏读。对于只读场景，隔离级别不会影响锁行为——只要开启了只读模式，不管设置什么隔离级别，都不会触发写锁等待。

如果一定要显式指定隔离级别，可以在创建engine时设置：

engine = create_engine(
    "sqlite:////path/to/your/db.sqlite?mode=ro",
    isolation_level="SERIALIZABLE"
)

但实际在只读模式下，这个设置不会带来任何性能或锁行为的变化。

3. 将数据库加载到内存 #

如果NFS的IO速度是核心瓶颈，可以将整个数据库复制到内存中，让所有查询在内存中执行，彻底消除IO等待。操作步骤如下：

启动时从磁盘备份到内存数据库 #

import sqlite3
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

# 1. 将磁盘数据库完整备份到内存
disk_conn = sqlite3.connect("//path/to/your/db.sqlite")
memory_conn = sqlite3.connect(":memory:")
disk_conn.backup(memory_conn)
disk_conn.close()

# 2. 让SQLAlchemy绑定到这个内存连接
engine = create_engine("sqlite:///:memory:")
raw_conn = engine.raw_connection()
raw_conn.connection = memory_conn

# 3. 正常使用Session操作数据库
Session = sessionmaker(bind=engine)
session = Session()

注意：5GB的数据库需要足够的内存支撑，若为多进程场景，每个进程单独加载一份会导致内存成倍消耗。可以考虑让单个进程加载内存数据库，其他进程通过共享内存或服务调用的方式查询，避免重复占用内存。

内容的提问来源于stack exchange，提问作者j13r