Python如何无需手动解压直接连接bz2格式的SQLite数据库

错误原因 #

sqlite3.connect()方法的第一个入参要求是数据库文件的本地路径，你直接传入解压后的二进制内容时，SQLite会将该字节串识别为新的数据库名，默认创建一个空库，所以查询返回空结果。

解决方案 #

方案1：内存数据库加载（Python 3.7+，无本地临时文件） #

直接将解压后的二进制数据加载到内存数据库中，磁盘IO少、处理速度快，适合小体积数据库批量处理：

import bz2
import sqlite3

def read_bz2_sqlite(bz2_path):
    with bz2.open(bz2_path, "rb") as f:
        db_content = f.read()
    # 连接内存数据库
    conn = sqlite3.connect(":memory:")
    # 加载二进制数据到内存库
    conn.deserialize(db_content)
    return conn

# 调用示例
conn = read_bz2_sqlite("file.sqlite.bz2")
query = "SELECT * FROM sqlite_master WHERE type='table';"
print(conn.execute(query).fetchall())
conn.close()

方案2：临时文件中转（全Python版本兼容） #

如果Python版本低于3.7，或者数据库体积过大会导致内存占用过高，选择临时文件中转方案：

import bz2
import sqlite3
import tempfile
import os

def read_bz2_sqlite(bz2_path):
    # 解压写入临时文件
    with bz2.open(bz2_path, "rb") as f_in:
        with tempfile.NamedTemporaryFile(delete=False, suffix=".sqlite") as f_out:
            f_out.write(f_in.read())
            temp_db_path = f_out.name
    # 连接临时数据库，返回连接和临时文件路径用于后续清理
    conn = sqlite3.connect(temp_db_path)
    return conn, temp_db_path

# 调用示例
conn, temp_path = read_bz2_sqlite("file.sqlite.bz2")
try:
    query = "SELECT * FROM sqlite_master WHERE type='table';"
    print(conn.execute(query).fetchall())
finally:
    conn.close()
    # 删除临时文件释放磁盘空间
    os.unlink(temp_path)

批量处理大量文件时，把上述方法封装后遍历所有.bz2文件路径即可实现自动化操作。

内容的提问来源于stack exchange，提问作者dc2