Python操作SQLite各函数单独创建连接游标是否正确高效

正确性问题 #

你现在的写法语法上可以运行，但存在明确的资源泄漏和逻辑bug：

• 所有函数都没有主动关闭数据库连接和游标，单次调用可能感知不到问题，但高频、长时间运行的场景下，会逐步耗尽系统文件句柄、触发SQLite的连接数限制，最终抛出database is locked类错误。
• get_last_record函数存在逻辑错误：SQL写的是SELECT *拉取全表字段，但转DataFrame时只指定了id一个列名，只要表中存在其他字段，运行时会直接抛出列数不匹配的异常。
• 没有异常处理逻辑：如果SQL执行过程中报错，既不会回滚事务，也不会释放已建立的连接，会进一步放大资源泄漏问题。

效率问题 #

单次、低频调用（比如每天执行1-2次的离线脚本）场景下，独立建连的性能损失可以接受；但如果是每秒多次调用的高频场景，效率完全不达标：
SQLite每次新建连接都要执行磁盘文件打开、权限校验、表结构加载、配置初始化等固定操作，对于LIMIT 1这类极快的简单查询，建连开销往往是SQL实际执行时间的3-10倍，完全是无意义的性能浪费。

根据你的使用场景选对应方案即可：

方案1：低频脚本场景（推荐） #

保留按需建连的逻辑，用Python上下文管理器（with语句）自动处理连接的提交、回滚和关闭，同时去掉冗余的手动游标创建、fetchall逻辑——pandas自带的read_sql方法已经封装了全流程，代码更简洁也不容易出错：

import sqlite3
import pandas as pd

def get_all_data(database_addr: str):
    with sqlite3.connect(database_addr) as conn:
        df = pd.read_sql(
            """
            SELECT a.data
            FROM data_table a
            """,
            conn
        )
    return df


def get_last_record(database_addr: str):
    with sqlite3.connect(database_addr) as conn:
        # 需要什么字段就查什么字段，不要用SELECT *
        df = pd.read_sql(
            """
            SELECT id 
            FROM data_table 
            ORDER BY id DESC 
            LIMIT 1
            """,
            conn
        )
    return df


def clear_local_data(last_record: int, database_addr: str):
    with sqlite3.connect(database_addr) as conn:
        conn.execute(
            """
            DELETE FROM data_table 
            WHERE id <= ?
            """,
            (last_record,)
        )
        # with块正常退出会自动commit，抛出异常会自动回滚，不需要手动写commit

这种写法没有额外依赖，资源会被自动释放，不会出现泄漏问题，足够覆盖绝大多数离线脚本的需求。

方案2：高频服务/实时处理场景 #

不要每次调用都新建连接，进程内复用长连接即可：

• 单线程场景直接在初始化时创建一个全局连接复用即可，能完全省掉建连开销。
• 多线程场景创建连接时加上check_same_thread=False参数，注意SQLite是库级锁，不要做高并发写操作，否则会出现锁等待。
• 如果是多进程部署，可以用轻量连接池控制总连接数，避免同时开太多连接触发锁冲突。

补充提示：不需要手动长期持有游标，游标是临时对象，执行完SQL后会自动回收，手动创建反而容易因为忘记关闭带来资源问题。

内容的提问来源于stack exchange，提问作者Tindona