如何高效遍历SQLite数据库逐行检索时序数据？

你的问题核心在于频繁的单点SQL查询导致的IO开销——每一次SELECT都要经历SQL解析、磁盘IO、结果返回的过程，500万次这样的操作自然会慢到无法接受。虽然你需要保证时序性，但完全不需要逐行去数据库查，我们可以通过批量获取数据+内存遍历的方式解决，既保证时序，又大幅提升效率。

优化思路 #

SQLite最擅长批量数据读取，我们可以一次性把所有需要的timestamp和aapl数据按时间顺序拉取到内存中，之后的判断逻辑直接在内存里完成，这样只需要1次SQL查询，避免了百万次的数据库交互。

如果你的500万行数据全部加载到内存有压力（其实500万行的两列数据，内存占用大概在几十MB级别，完全没问题），也可以用游标分批读取的方式，每次读取一部分数据处理，平衡内存和效率。

优化后的代码示例 #

方案1：一次性批量读取（推荐，效率最高） #

import sqlite3

conn = sqlite3.connect('test.db')
c = conn.cursor()

# 一次性按时间顺序获取所有timestamp和aapl数据，仅执行1次SQL查询
c.execute("SELECT timestamp, aapl FROM stockData ORDER BY timestamp ASC")
# 直接获取所有行数据
data = c.fetchall()

buys = []
sells = []

# 在内存里遍历每一行，处理逻辑和原需求完全一致
for timestamp, aapl_price in data:
    p = float(aapl_price)
    if p < 186:
        buys.append(p)
    if p > 186.5:
        sells.append(p)

# 关闭数据库连接
conn.close()

方案2：分批读取（内存敏感场景） #

如果担心内存占用过高，可以每次读取固定行数的数据，循环处理：

import sqlite3

conn = sqlite3.connect('test.db')
c = conn.cursor()

# 按时间排序，每次读取10000行数据（可根据内存情况调整批次大小）
batch_size = 10000
offset = 0
buys = []
sells = []

while True:
    c.execute("""
        SELECT timestamp, aapl 
        FROM stockData 
        ORDER BY timestamp ASC 
        LIMIT ? OFFSET ?
    """, (batch_size, offset))
    batch_data = c.fetchall()
    if not batch_data:
        break  # 没有更多数据，退出循环
    
    for timestamp, aapl_price in batch_data:
        p = float(aapl_price)
        if p < 186:
            buys.append(p)
        if p > 186.5:
            sells.append(p)
    
    offset += batch_size

conn.close()

为什么这样快？ #

1. 彻底减少SQL交互次数：从500万次查询变成1次（或几十次），消除了重复的SQL解析、磁盘IO等额外开销。
2. 内存操作远快于磁盘操作：Python遍历内存中的列表/tuple的速度是毫秒级的，和磁盘IO的耗时不在一个量级。
3. 严格保证时序性：通过ORDER BY timestamp ASC确保数据按时间顺序返回，遍历过程自然就是时序处理。

另外，原代码里的np.vectorize其实并没有真正实现向量化计算（底层仍是循环），直接用Python原生循环处理内存数据反而更简洁高效。

内容的提问来源于stack exchange，提问作者CoderMan27