SQLite3数据库磁盘不足：如何分块执行VACUUM或缩减库大小？

SQLite原生的VACUUM命令确实需要生成完整的数据库副本，无法分块执行，这是其底层实现的硬限制。针对你磁盘空间不足的情况，可以尝试以下几种替代方案来缩减数据库体积：

1. 逐表导出再导入（最低空间占用） #

这种方法将数据库拆分成单个表处理，每次仅需单表（含索引）大小的临时空间，远小于整个数据库的体积：

• 用SQLite命令行工具逐表导出为SQL文件：

  sqlite3 your_database.db ".dump your_table_name" > your_table_name.sql
  

• 创建一个新的空数据库，逐表导入SQL文件：

  sqlite3 new_database.db < your_table_name.sql
  

• 注意事项：
  • 优先导出父表再导出子表（处理外键依赖）
  • 单独导出视图、触发器、存储过程等对象（用.dump命令时可以指定这些对象）
  • 操作前务必备份原数据库

2. 分批清理大表碎片 #

如果数据库体积主要由某几张大表占据，可以通过分批迁移数据来回收空闲空间：

import sqlite3

def batch_clean_large_table(db_path, table_name, batch_size=10000):
    conn = sqlite3.connect(db_path)
    conn.execute("PRAGMA foreign_keys=OFF")  # 临时关闭外键约束避免报错
    cursor = conn.cursor()

    offset = 0
    while True:
        # 导出一批数据到临时表
        cursor.execute(f"""
            CREATE TEMP TABLE temp_batch AS
            SELECT * FROM {table_name} LIMIT ? OFFSET ?
        """, (batch_size, offset))
        
        # 检查是否还有数据
        cursor.execute("SELECT COUNT(*) FROM temp_batch")
        count = cursor.fetchone()[0]
        if count == 0:
            break
        
        # 删除原表中的这批数据
        cursor.execute(f"""
            DELETE FROM {table_name} WHERE rowid IN (SELECT rowid FROM temp_batch)
        """)
        # 将临时表数据插回原表（自动重用空闲页）
        cursor.execute(f"INSERT INTO {table_name} SELECT * FROM temp_batch")
        
        cursor.execute("DROP TABLE temp_batch")
        offset += batch_size
        conn.commit()
    
    conn.execute("PRAGMA foreign_keys=ON")
    conn.close()

# 调用示例
batch_clean_large_table("your_db.db", "large_table")

• 注意：如果表没有rowid（比如用WITHOUT ROWID创建的表），需要用主键来筛选数据。

3. 单表重建压缩 #

对单个碎片化严重的表，直接重建表来回收空间，仅需该表的临时空间：

BEGIN TRANSACTION;
-- 创建新表复制原表数据
CREATE TABLE new_table AS SELECT * FROM old_table;
-- 删除原表
DROP TABLE old_table;
-- 重命名新表为原表名
ALTER TABLE new_table RENAME TO old_table;
-- 重建原表的索引
CREATE INDEX idx_old_table_column ON old_table(column_name);
COMMIT;

• 此方法会清除表的所有空闲页，同时整理数据存储顺序。

后续预防措施 #

• 启用auto_vacuum=FULL模式：执行PRAGMA auto_vacuum=FULL;后，删除数据时SQLite会自动回收空闲页（无需手动VACUUM），但此设置需要先执行一次完整VACUUM才能生效（如果当前空间不够，可以等后续有空间时再配置）。
• 批量插入时使用事务：减少频繁插入产生的碎片。

内容的提问来源于stack exchange，提问作者Emi OB