Python操作SQLite：用ORDER BY还是Python排序输出数据更高效？

我正在编写一个函数，根据传入的排序键（sort_key）输出数据库中的指定字段，排序键仅支持按title、year或budget三个属性排序输出。

示例数据库 #

ID  | name | year | budget    | other fields
---------------------------------------------
id1 | foo  | 2020 | 50000000  | xxx
id2 | bar  | 1997 | 200000    | yyy
id3 | baz  | 2016 | 3333333   | zzz
...

当前实现代码 #

def db_output(sort_key: str) -> None:
    # ...
    CURSOR.execute("SELECT * FROM movies")
    output = CURSOR.fetchall()
    CONN.close()

    clean_table = [x for x in output if x[3] is not None]
    sorted_list = sorted(
        clean_table, key=lambda x: x[{"title": 1, "year": 2, "budget": 3}[sort_key]]
    )
    # Output clause

疑问 #

使用SQL的ORDER BY命令获取排序后的数据，是否比当前在Python中排序的方式更高效？我仅需向用户提供排序后的输出，无需修改数据库结构，目前因了解到稳定排序与不稳定排序的概念而产生困惑。

1. 效率：SQL排序远优于Python端排序 #

用ORDER BY在数据库侧排序效率更高，核心原因有三个：

• 减少数据传输：当前代码会把全表所有字段（包括无关的other fields）都拉到Python，再做过滤和排序。改用SQL排序的话，可以只查询需要的字段，同时在数据库完成budget IS NOT NULL的过滤，传输到Python的数据量大幅减少。
• 数据库的排序优化：数据库针对排序做了大量底层优化，比如如果title/year/budget建了索引，排序速度会指数级提升；而Python的sorted()只能在内存里对全量数据排序，数据量大时内存开销和耗时都会急剧增加。
• 避免内存溢出风险：如果数据库数据量很大，把全表拉到Python可能直接导致内存不足，而数据库可以高效处理大规模数据的排序任务。

2. 稳定排序的问题解决 #

• Python的sorted()是稳定排序：相同排序键的元素会保留原数据中的相对顺序。
• SQL的ORDER BY是否稳定取决于数据库实现：比如MySQL在仅按单个非唯一字段排序时，相同键的元素顺序是不确定的（可能依赖存储引擎的物理顺序或排序算法）。
• 要实现稳定排序的效果，只需在ORDER BY后追加一个唯一字段（比如ID），写成ORDER BY [排序键], ID。这样当排序键相同时，会按ID排序，保证结果的确定性，等价于稳定排序。

3. 优化后的代码示例 #

把过滤、排序逻辑都放到SQL中，同时只查询必要字段，还要注意校验排序键合法性防止SQL注入：

def db_output(sort_key: str) -> None:
    # 校验排序键合法性，映射数据库实际字段名
    valid_sort_mapping = {"title": "name", "year": "year", "budget": "budget"}
    if sort_key not in valid_sort_mapping:
        raise ValueError("仅支持title、year、budget作为排序键")
    
    # 构造安全的SQL语句
    sql = f"""
        SELECT ID, {valid_sort_mapping[sort_key]} 
        FROM movies
        WHERE {valid_sort_mapping[sort_key]} IS NOT NULL
        ORDER BY {valid_sort_mapping[sort_key]}, ID
    """
    CURSOR.execute(sql)
    sorted_list = CURSOR.fetchall()
    CONN.close()
    # 后续输出逻辑

内容的提问来源于stack exchange，提问作者Jackxx