如何让SQLite内存查询速度媲美Pandas DataFrame布尔索引？

这个问题我太有共鸣了——磁盘IO确实是SQLite这类磁盘数据库的瓶颈，尤其是当你需要反复调整查询条件做交互式分析时，慢得让人抓狂。幸好有几个简单的方案能帮你把整个表搬到内存里，实现和Pandas布尔索引一样的查询速度，根据你的使用习惯选就行：

方案1：把SQLite数据库完全加载到内存中 #

SQLite原生支持内存数据库，你可以把磁盘上的DB完整复制到内存里，之后所有查询都在RAM中执行，速度会大幅提升。

用Python代码实现（适合程序化交互式查询）

import sqlite3

# 连接磁盘上的原数据库
disk_conn = sqlite3.connect('你的数据库文件.db')
# 创建内存数据库连接
mem_conn = sqlite3.connect(':memory:')

# 把磁盘数据库的内容备份到内存数据库（这一步只需要执行一次）
disk_conn.backup(mem_conn)

# 接下来就可以用内存连接执行任意SQL查询了，速度和内存操作一致
cursor = mem_conn.cursor()
result = cursor.execute("SELECT a, b FROM your_table WHERE abs(a - b) > 0.0001").fetchall()

用SQLite Shell实现（适合纯SQL交互式操作）

如果你习惯用sqlite3命令行，也可以直接加载到内存：

# 启动内存中的SQLite实例
sqlite3 :memory:

# 附加磁盘数据库，然后把表复制到内存
ATTACH DATABASE '你的数据库文件.db' AS disk_db;
CREATE TABLE your_table AS SELECT * FROM disk_db.your_table;

# 现在直接查询内存表，速度飞快
SELECT a, b FROM your_table WHERE abs(a - b) > 0.0001;

方案2：用DuckDB做内存SQL查询（推荐复杂查询场景） #

DuckDB是专门为分析型查询设计的内存列式数据库，既能完美兼容SQL语法，又能和Pandas无缝集成，查询性能甚至比Pandas的某些操作更快。

import duckdb

# 连接DuckDB的内存实例
con = duckdb.connect()

# 直接从SQLite加载表到DuckDB的内存表（只需要执行一次）
con.execute("CREATE TABLE your_table AS SELECT * FROM sqlite_scan('你的数据库文件.db', 'your_table')")

# 执行查询，结果可以直接转成Pandas DataFrame
filtered_df = con.execute("SELECT a, b FROM your_table WHERE abs(a - b) > 0.0001").fetchdf()

你可以反复修改SQL语句执行查询，每次都是内存操作，速度和Pandas布尔索引差不多，而且支持更复杂的SQL语法（比如分组、聚合、窗口函数）。

方案3：继续用Pandas，但用df.query()实现类SQL的交互式查询 #

如果你已经习惯了Pandas的生态，完全可以不用切换到SQL工具，用Pandas自带的df.query()方法，它支持类SQL的条件语法，底层用的是NumPy向量化操作，速度和布尔索引一样快。

import pandas as pd
import sqlite3

# 一次性把表加载到Pandas DataFrame（只需要执行一次）
conn = sqlite3.connect('你的数据库文件.db')
df = pd.read_sql("SELECT * FROM your_table", conn)

# 用query方法执行过滤，条件可以写成字符串，方便交互式修改
filtered_df = df.query("abs(a - b) > 0.0001")

每次调整查询条件，只需要修改query()里的字符串就行，完全不用重新加载数据，速度和你原来的布尔索引一样快。

为什么这些方法能提速？ #

本质原因就是把数据从磁盘搬到了内存：SQLite磁盘查询需要反复做磁盘IO，而内存操作直接在RAM中读写，速度差了几个数量级。不管是内存SQLite、DuckDB还是Pandas，都是把数据全量加载到内存后再操作，所以能实现和Pandas布尔索引一样的速度。

内容的提问来源于stack exchange，提问作者Nownuri