如何使用SQLite JDBC驱动将磁盘数据库备份加载到内存中

你使用的org.xerial:sqlite-jdbc:3.36.0.3驱动原生支持该能力，和Python的backup接口逻辑完全对齐，以下是可直接落地的实现方式，以及你之前测试遇到的问题说明。

你之前测试的问题说明 #

你第二次测试的代码逻辑实际上已经执行成功了，观察到非堆内存无明显增长是监控统计口径问题：
sqlite-jdbc通过JNI调用SQLite原生C内核，内存库的所有数据页存储在C层申请的进程堆内存中，Java默认的本地内存追踪、大部分可视化监控工具默认不会统计这部分JNI申请的内存，并非数据没有加载到内存。你能正常查询到58万条记录已经证明restore执行生效，最简单的验证方式是加载完成后重命名/删除磁盘上的db文件，再执行查询，能正常返回结果就说明数据已经完全驻留内存。

方案1：使用RESTORE命令（最简单，适配你的现有代码） #

该方式是SQLite内核原生支持的命令，执行后会把磁盘库全量拷贝到当前连接对应的内存库中，注意3个核心要点：

• 内存库JDBC URL必须使用jdbc:sqlite:file::memory:?cache=shared格式，保证多连接可以访问同一个内存库
• 必须全局持有至少一个内存库连接，一旦最后一个指向该内存库的连接被关闭，内存库会被自动释放
• 磁盘库路径尽量使用绝对路径，避免框架启动时工作目录不一致导致找不到文件

可直接运行的代码示例：

import org.sqlite.SQLiteConfig;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.nio.file.Paths;

public class SQLiteMemoryCache {
    // 全局持有内存库连接，应用生命周期内禁止关闭
    private static Connection globalMemoryConn;

    public static void loadDbToMemory(String diskDbRelativePath) throws Exception {
        SQLiteConfig config = new SQLiteConfig();
        config.setPragma(SQLiteConfig.Pragma.JOURNAL_MODE, "WAL");
        config.setPragma(SQLiteConfig.Pragma.SYNCHRONOUS, "OFF");
        config.setPragma(SQLiteConfig.Pragma.TEMP_STORE, "MEMORY");

        // 磁盘文件转绝对路径
        String absoluteDiskPath = Paths.get(diskDbRelativePath).toAbsolutePath().toString().replace("\\", "/");
        // 初始化共享内存库连接，全局持有
        globalMemoryConn = DriverManager.getConnection("jdbc:sqlite:file::memory:?cache=shared", config.toProperties());

        try (Statement stmt = globalMemoryConn.createStatement()) {
            // 执行全量恢复，把磁盘库加载到内存
            stmt.executeUpdate("RESTORE FROM " + absoluteDiskPath);

            // 校验加载结果
            try (ResultSet rs = stmt.executeQuery("SELECT COUNT(*) FROM products_1")) {
                if (rs.next()) {
                    System.out.printf("加载完成，内存库共读取到%d条产品记录%n", rs.getInt(1));
                }
            }
        }
    }

    public static Connection getMemoryConnection() {
        return globalMemoryConn;
    }
}

方案2：使用驱动内置的在线备份API（更稳定，适配大库场景） #

如果你的数据库体积较大，担心RESTORE命令长时间阻塞，可以使用驱动自带的备份API，支持分批复制、进度监听，和Python的source.backup(dest)逻辑完全一致：

import org.sqlite.SQLiteConnection;
import org.sqlite.core.DB;
import java.nio.file.Paths;
import java.sql.DriverManager;
import java.sql.Connection;

public class SQLiteBackupLoader {
    private static Connection globalMemoryConn;

    public static void backupDiskToMemory(String diskDbPath) throws Exception {
        String absolutePath = Paths.get(diskDbPath).toAbsolutePath().toString();
        // 打开磁盘库只读连接
        try (SQLiteConnection diskConn = (SQLiteConnection) DriverManager.getConnection("jdbc:sqlite:" + absolutePath)) {
            // 初始化内存库连接，全局持有
            SQLiteConnection memoryConn = (SQLiteConnection) DriverManager.getConnection("jdbc:sqlite:file::memory:?cache=shared");
            globalMemoryConn = memoryConn;

            DB diskDb = diskConn.getDatabase();
            DB memoryDb = memoryConn.getDatabase();
            // 每次复制100个内存页（默认每页4KB），直到全量复制完成
            int backupStatus;
            do {
                backupStatus = memoryDb.backup(diskDb, 100, null);
                // 此处可添加进度回调逻辑
            } while (backupStatus == 0);
        }
    }
}

常见踩坑点 #

• 内存库配置cache=shared后，所有业务查询都要使用同一个URL格式创建连接，否则会访问到新的空内存库
• 加载完成后所有读写操作都走内存库连接，不会再读写磁盘文件，性能和原生内存库一致
• 如果需要持久化内存库修改，可以在业务低峰期执行BACKUP TO 磁盘文件路径命令，把内存数据回写到磁盘

内容的提问来源于stack exchange，提问作者Swastik