Pandas to_sql写入SQL Server报Output exceeds the size limit错误

问题现象 #

使用pyodbc搭配SQLAlchemy向SQL Server数据表批量插入数据时，程序运行约30分钟后抛出Output exceeds the size limit错误；当前待插入DataFrame规模为27963行、9列，小体量数据集插入无同类异常。
前置配置说明：为规避numpy默认<U25字符串类型截断长文本，已将源numpy数组dtype调整为object类型，数据库连接配置中已开启fast_executemany特性。

复现代码 #

数据库连接函数（已开启fast_executemany） #

def connect(server, database):
    global cnxn_str, cnxn, cur, quoted, engine
    cnxn_str = ("Driver={SQL Server Native Client 11.0};"
                "Server=<server>;"
                "Database=<database>;"
                "UID=<user>;"
                "PWD=<password>;")
    cnxn = pyodbc.connect(cnxn_str)
    cur = cnxn.cursor()
    cur.fast_executemany=True

    quoted = quote_plus(cnxn_str)
    engine = create_engine('mssql+pyodbc:///?odbc_connect={}'.format(quoted), fast_executemany=True)

数据处理与插入函数 #

def insert_to_sql_server():
    global df, np_array
    
    # DataFrame由dtype=object类型的numpy数组转换生成
    df = pd.DataFrame(np_array[1:,],columns=np_array[0])
    
    # 新增计算列、完成数据预处理
    df['comp_key'] = df['col1']+"-"+df['col2'].astype(str)
    df['comp_key2'] = df['col3']+"-"+df['col4'].astype(str)+"-"+df['col5'].astype(str)
    df['comp_statusID'] = df['col6']+"-"+df['col7'].astype(str)

    convert_dict = {'col1': 'string', 'col2': 'string', ..., 'col_n': 'string'}
    
    # 将所有列从object类型转换为string类型
    df = df.astype(convert_dict)

    connect(<server>, <database>)
    cur.rollback()

    # 清空表内旧数据
    cur.execute("DELETE FROM <table>")

    cur.commit()

    # 调用pandas to_sql方法写入数据
    df.to_sql(<table name>, engine, index=False, \
        if_exists='replace', schema='dbo', chunksize=1000, method='multi')

报错根因 #

该报错既不属于Pandas本身的限制，也不是SQL Server的插入行数上限，核心问题出在写入参数配置冲突、超出数据库固有阈值：

• 参数配置冲突：fast_executemany是pyodbc提供的原生高性能批量插入特性，和pandas to_sql的method='multi'功能完全重叠，二者同时使用时，pandas会先将chunksize对应行数的所有值拼接成单条INSERT INTO ... VALUES (...), (...), ...格式的超长SQL，完全绕过了pyodbc的批量优化逻辑，不仅性能骤降，还极易触发长度超限。
• 超出数据库参数上限：SQL Server单条参数化SQL最多支持2100个传入参数，当前数据集共9列，chunksize设置为1000时，单条拼接的INSERT语句需要传递9000个参数，本身就已经突破数据库阈值；将numpy数组改为object类型存储无截断的长文本后，单条SQL的文本体积进一步膨胀，最终触发输出缓冲区溢出报错。
• 冗余逻辑拖慢执行：代码混用原生pyodbc游标和SQLAlchemy引擎操作同一张表，手动执行DELETE清空表后，if_exists='replace'模式还会自动执行删表、重建表操作，之前的DELETE逻辑完全冗余，还会因为两个独立连接的事务隔离问题引发表锁，进一步拉长执行时间。

修复方案 #

按优先级调整代码即可解决问题：

• 修正to_sql参数配置，发挥fast_executemany性能
  移除method='multi'参数，让pyodbc的fast_executemany接管批量插入逻辑，同时下调chunksize适配长文本场景，调整写入逻辑避免冗余操作：

  df.to_sql(
      <table name>, 
      engine, 
      index=False,
      if_exists='append', # 已手动执行DELETE清空旧数据，无需replace触发删表重建
      schema='dbo', 
      chunksize=500 # 长文本场景下单批500行写入稳定性更高
  )
  

  调整后写入性能会比之前的配置高3-10倍，不会生成超长SQL，从根源避免输出超限问题。
• 升级ODBC驱动提升兼容性
  当前使用的SQL Server Native Client 11.0是2012年发布的旧版本驱动，对长字符串、批量插入的兼容性存在已知问题，替换为微软官方持续维护的新版驱动即可，连接串修改为：

  cnxn_str = ("Driver={ODBC Driver 18 for SQL Server};"
              "Server=<server>;"
              "Database=<database>;"
              "UID=<user>;"
              "PWD=<password>;"
              "TrustServerCertificate=yes;")
  

• 清理冗余操作
  如果保留if_exists='replace'配置，就删掉手动创建pyodbc连接、执行DELETE和commit的冗余逻辑，避免跨连接操作引发表锁；如果要保留手动清空数据的逻辑，就将if_exists改为append，不要重复执行删表操作。

内容的提问来源于stack exchange，提问作者user19498404