使用pyodbc+Polars读取数据库数据时Python运行时崩溃求助

你的核心问题是一次性读取全量数据超出内存上限：不管是fetchall()还是Polars默认的read_database()，都是尝试把所有数据一次性加载到内存，当数据量过大时就会触发崩溃；而fetchone()每次只读取一行，内存占用极低，所以能正常运行。Polars确实支持大数据处理，但默认的read_database()在结合pyodbc游标使用时，并没有自动开启分批读取逻辑，所以才会出现这个问题。

以下是具体解决方法：

1. 逐批读取+逐批写入CSV（推荐，内存友好） #

利用fetchmany()分批读取数据，每处理完一批就直接写入CSV，不需要把全量数据留在内存中，适合超大数据集：

import pyodbc
import polars as pl

con_str = "...."
batch_size = 10000  # 根据你的内存情况调整，比如8G内存可以设为1-2万

cnxn = pyodbc.connect(con_str)
curs = cnxn.cursor()
curs.execute(query)

# 获取列名，用于构建DataFrame的Schema
column_names = [col[0] for col in curs.description]
first_write = True

while True:
    # 读取一批数据
    batch_rows = curs.fetchmany(batch_size)
    if not batch_rows:
        break
    
    # 转换为Polars DataFrame
    df_batch = pl.DataFrame(batch_rows, schema=column_names)
    
    # 写入CSV：第一批次用覆盖模式，后续用追加模式
    write_mode = "write" if first_write else "append"
    df_batch.write_csv("result.csv", mode=write_mode)
    first_write = False

# 关闭连接
curs.close()
cnxn.close()

2. 直接用Polars的分批读取参数 #

如果你的Polars版本（建议0.19.0及以上）支持对pyodbc游标使用batch_size参数，可以直接通过该参数实现分批读取：

import pyodbc
import polars as pl

con_str = "...."
cnxn = pyodbc.connect(con_str)
curs = cnxn.cursor()

# 指定batch_size分批加载数据到DataFrame
df = pl.read_database(query, curs, batch_size=10000)
df.write_csv("result.csv")

curs.close()
cnxn.close()

如果这个方法还是崩溃，说明你的Polars版本对pyodbc的分批支持不完善，改用方案1即可。

额外优化点 #

• 精简SQL查询：只选择需要的列，避免读取无关数据；添加WHERE条件过滤掉不需要的行，从源头减少数据量
• 调整batch_size：根据内存实际占用情况微调，比如内存紧张就调小批次，内存充足就调大以提升效率
• 数据库端分页：如果数据库支持（比如SQL Server用OFFSET ... FETCH NEXT，MySQL用LIMIT），可以拆分SQL为多次查询，每次取一页数据，进一步降低单次内存压力

内容的提问来源于stack exchange，提问作者emvee