使用pyodbc fast_executemany结合Access ODBC时Python解释器崩溃

我之前也踩过这个坑——用pyodbc的fast_executemany=True批量往Access插大量数据时，经常会碰到Python解释器直接崩溃的情况，毕竟Access的ODBC驱动对超大批量操作的支持确实有点拉胯。结合自己的调试经验，给你几个亲测有效的解决思路：

1. 缩小批量插入的批次大小，定期提交事务 #

你当前的代码每次生成1000条数据、循环50次才5万条，离百万量级还差很多。但即使是这样，fast_executemany可能会一次性把所有参数加载到内存，或者驱动处理不过来导致崩溃。建议把单批次的记录数再缩小，比如改成500甚至200条，同时每插入几个批次就手动提交一次，及时释放内存：

import numpy as np
import pyodbc as db

connection_string = "Driver={Microsoft Access Driver (*.mdb, *.accdb)};DBQ=C:/Users.../DataCreation.accdb;"
connection = db.connect(connection_string)
cur = connection.cursor()
cur.fast_executemany = True  # 保留fast_executemany但缩小批次

total_records = 1000000
batch_size = 500  # 减小单批次数据量
total_batches = total_records // batch_size

for batch_idx in range(total_batches):
    # 用numpy生成当前批次的数据，替换成你的字段类型和填充逻辑
    params = np.empty(batch_size, dtype=[('col1', 'i4'), ('col2', 'f8'), ('col3', 'U50')])
    # 示例填充逻辑：比如给col1赋值递增数字，col2赋值随机浮点数
    params['col1'] = np.arange(batch_idx*batch_size + 1, (batch_idx+1)*batch_size + 1)
    params['col2'] = np.random.rand(batch_size)
    
    # 转换为pyodbc可处理的元组列表
    insert_rows = [tuple(row) for row in params]
    cur.execute("INSERT INTO YourTableName (col1, col2, col3) VALUES (?, ?, ?)", insert_rows)
    
    # 每10个批次提交一次，避免事务过大占用内存
    if batch_idx % 10 == 0:
        connection.commit()
        print(f"已完成 {batch_idx*batch_size} 条数据插入")

# 提交最后一批次的数据
connection.commit()
cur.close()
connection.close()

2. 关闭fast_executemany，改用普通批量插入 #

如果fast_executemany和Access驱动的兼容性问题无法解决，那可以直接关掉它，改用普通的批量插入。虽然速度会慢一些，但稳定性会大幅提升。同样要注意控制批次大小，建议单批次1000-2000条：

# 去掉cur.fast_executemany = True这一行即可
# 其余批次处理、提交逻辑和上面一致

3. 检查numpy数据类型与Access字段的兼容性 #

有时候数据类型不匹配会导致驱动在处理数据时出错崩溃。比如：

• numpy的int32对应Access的Integer字段
• numpy的float64对应Access的Double字段
• numpy的Uxx（固定长度字符串）对应Access的Text字段（注意字符串长度要匹配）

确保你定义的numpy dtype和数据库表的字段类型完全匹配，避免隐式转换带来的异常。

4. 确认ODBC驱动版本与Python位数一致 #

如果你用的是64位Python，但装的是32位的Access ODBC驱动，很可能会因为内存地址空间冲突导致崩溃。去微软官网下载安装64位的Microsoft Access Database Engine，然后确保连接字符串里的驱动名称正确（64位驱动名称和32位一样，都是{Microsoft Access Driver (*.mdb, *.accdb)}）。

最后提一句：Access本身更适合中小型数据量的场景，百万级数据插入其实已经超出它的舒适区了。如果后续还有大量数据操作需求，换成SQLite或者SQL Server Express这类数据库会更稳妥。

内容的提问来源于stack exchange，提问作者grün21