使用pyodbc执行CREATE TABLE后调用executemany插入数据失败求助

这是pyodbc的fast_executemany特性的已知行为：当开启该模式时，游标会预编译批量插入语句并缓存目标表的元数据。如果在开启fast_executemany之前执行了CREATE TABLE这类DDL操作，游标缓存的元数据不会自动更新，导致fast_executemany无法识别新创建的表，最终静默跳过插入操作（该模式依赖准确的表结构优化插入，元数据不匹配时不会抛出错误，直接终止执行）。

另外，如果建表语句执行后没有提交事务，当前会话中可能无法同步到新表的状态，也会触发这个问题。

1. 建表后换用新游标执行插入 #

DDL操作完成并提交后，关闭原游标，重新创建一个游标来开启fast_executemany，确保新游标能获取到最新的表元数据：

import pandas as pd
import pyodbc

def df_to_sql(df, table_name, conn_str):
    conn = pyodbc.connect(conn_str, autocommit=False)
    
    # 执行建表
    create_cursor = conn.cursor()
    create_sql = generate_create_table_sql(df, table_name)  # 你的建表语句生成函数
    create_cursor.execute(create_sql)
    conn.commit()
    create_cursor.close()
    
    # 用新游标做批量插入
    insert_cursor = conn.cursor()
    cols = ','.join(df.columns)
    placeholders = ','.join(['?' for _ in df.columns])
    insert_sql = f"INSERT INTO {table_name} ({cols}) VALUES ({placeholders})"
    data = [tuple(row) for row in df.itertuples(index=False)]
    
    insert_cursor.fast_executemany = True
    insert_cursor.executemany(insert_sql, data)
    conn.commit()
    
    insert_cursor.close()
    conn.close()

2. 重置游标刷新元数据 #

如果不想更换游标，pyodbc 4.0及以上版本支持cursor.reset()方法，建表提交后调用该方法重置游标，刷新元数据缓存：

def df_to_sql(df, table_name, conn_str):
    conn = pyodbc.connect(conn_str, autocommit=False)
    cursor = conn.cursor()
    
    # 建表并提交
    create_sql = generate_create_table_sql(df, table_name)
    cursor.execute(create_sql)
    conn.commit()
    
    # 重置游标，更新元数据
    cursor.reset()
    
    # 执行插入
    cols = ','.join(df.columns)
    placeholders = ','.join(['?' for _ in df.columns])
    insert_sql = f"INSERT INTO {table_name} ({cols}) VALUES ({placeholders})"
    data = [tuple(row) for row in df.itertuples(index=False)]
    
    cursor.fast_executemany = True
    cursor.executemany(insert_sql, data)
    conn.commit()
    
    cursor.close()
    conn.close()

3. 确认建表语句的正确性 #

确保你的T-SQL兼容建表语句是正确的，比如IF NOT EXISTS的标准写法：

IF NOT EXISTS (SELECT * FROM sys.tables WHERE name = ? AND schema_id = SCHEMA_ID('dbo'))
BEGIN
    CREATE TABLE dbo.{table_name} (
        -- 列定义，注意和DataFrame类型对应
    )
END

避免因建表语句隐性错误导致表未创建，进而让fast_executemany跳过插入。

• 建表后手动查询数据库，确认表已存在且结构正确
• 检查建表后是否执行了conn.commit()，确保事务提交
• 升级pyodbc到4.0.30及以上版本，避免旧版本的bug

内容的提问来源于stack exchange，提问作者codade