使用pymssql插入超长字符串时遭遇DBPROCESS报错求助

问题原因 #

pymssql依赖的DB-Lib（FreeTDS组件）对查询数据包大小有默认限制，当插入的字符串长度过大（如1.3亿字符，对应UTF-16编码下约2.6亿字节），超出默认数据包容量时，会导致数据库连接中断，触发DBPROCESS is dead or not enabled错误。虽然nvarchar(max)理论支持10亿字符，但客户端库的传输限制会提前触发报错。

解决方案 #

方案1：调整pymssql连接的数据包大小 #

修改连接参数，将packet_size设置为SQL Server支持的最大值65535，减少传输分片次数，提升大字段传输能力：

import pymssql
from pathlib import Path

# 添加packet_size参数，设置为最大支持值
conn = pymssql.connect('server', 'user', 'password', 'db', packet_size=65535)
content = Path('file.txt').read_text()

with conn.cursor() as cursor:
    # 统一用%s作为占位符，让pymssql自动处理类型转换（包括bigint列）
    cursor.execute("""
        INSERT INTO table_name (列1, 列2, 列3, 列4, response, 列6, 列7)
        VALUES (%s, %s, %s, %s, %s, %s, %s)
    """, ('2020-05-21', '2023-03-27T20:51:50.221718', '2023-03-27T19:34:02.103253', 127671, content[:133_949_006], 'New', '2020-05-22'))
conn.commit()
conn.close()

注意：务必在INSERT语句中指定列名，避免因表结构变更导致列顺序匹配错误。

方案2：切换到pyodbc库（更稳定的大字段支持） #

pyodbc基于官方ODBC驱动，对大字段的处理比pymssql更完善，无DB-Lib的传输限制问题：

1. 先安装pyodbc：

pip install pyodbc

2. 替换代码为：

import pyodbc
from pathlib import Path

# 构建ODBC连接字符串，指定MAX VARCHAR SIZE=0以支持max类型字段
conn_str = (
    "DRIVER={ODBC Driver 17 for SQL Server};"
    "SERVER=server;"
    "DATABASE=db;"
    "UID=user;"
    "PWD=password;"
    "MAX VARCHAR SIZE=0;"
)
conn = pyodbc.connect(conn_str)
content = Path('file.txt').read_text()

with conn.cursor() as cursor:
    cursor.execute("""
        INSERT INTO table_name (列1, 列2, 列3, 列4, response, 列6, 列7)
        VALUES (?, ?, ?, ?, ?, ?, ?)
    """, ('2020-05-21', '2023-03-27T20:51:50.221718', '2023-03-27T19:34:02.103253', 127671, content, 'New', '2020-05-22'))
conn.commit()
conn.close()

额外提示 #

• 避免使用%d作为bigint字段的占位符，统一用%s（pymssql）或?（pyodbc），由驱动自动处理类型转换，防止溢出或格式错误。
• 如果字符串长度超过内存承载上限，可考虑分块读取文件并流式插入，但nvarchar(max)本身支持单次插入大字段，一般无需此操作。

内容的提问来源于stack exchange，提问作者wkgrcdsam