使用Pandas.to_sql上传含表情符号的NVARCHAR至MSSQL时末尾字符丢失

这个问题我之前帮同事排查过类似的，核心是FreeTDS的字符编码配置和SQLAlchemy交互时的长度计算偏差导致的，跟NVARCHAR的4000上限没关系——毕竟你说的文本很短，远没到阈值。

问题根源 #

• FreeTDS默认可能用了单字节字符集（比如ISO-8859-1），而表情符号是UTF-16双字节字符。驱动会错误地把每个表情符号当成1个字符计算长度，但实际传输时是2字节，导致数据库收到的字节数超过了预期的"字符长度"，自动截断了末尾的字符。
• 就算你在dtype里指定了NVARCHAR，如果FreeTDS没正确配置Unicode支持，SQLAlchemy发送的字符长度信息和数据库实际接收的字节数不匹配，就会触发截断。

分步解决方案 #

1. 修正FreeTDS配置文件
   找到你的freetds.conf（通常在/etc/freetds/或者~/.freetds.conf），在对应数据库的配置段里添加/修改：

   [your_mssql_instance]
     host = your_db_host
     port = 1433
     tds version = 7.4  # 必须是7.0及以上，支持Unicode
     client charset = UTF-8
   

   保存后重启相关服务（如果需要的话）。

2. 在SQLAlchemy连接里明确指定字符集
   创建引擎时，直接在URL里带上字符集和TDS版本参数，避免驱动读取配置时出问题：

   from sqlalchemy import create_engine, types
   # 用ODBC桥接FreeTDS的情况
   engine = create_engine('mssql+pyodbc://username:password@dsn_name?charset=utf8&tds_version=7.4')
   # 直接用FreeTDS驱动的情况
   engine = create_engine('mssql+freetds://username:password@host:port/dbname?tds_version=7.4&client_charset=utf8')
   

3. 完善Pandas.to_sql的dtype配置
   给NVARCHAR明确指定长度，不要留空：

   from pandas import read_excel
   df = read_excel('your_file.xlsx')
   # 确保列是字符串类型，避免隐藏编码问题
   df['COLUMN'] = df['COLUMN'].astype(str)
   df.to_sql(
       name='your_table',
       con=engine,
       if_exists='append',
       index=False,
       dtype={'COLUMN': types.NVARCHAR(length=4000)}  # 明确指定长度
   )
   

4. 验证结果
   插入完成后，直接查询数据库表，检查表情符号是否正常显示，末尾的文本字符是否完整。如果还是有问题，可以尝试把client charset改成UTF-16，不过一般UTF-8就足够适配MSSQL的Unicode处理了。

内容的提问来源于stack exchange，提问作者Doyuno Dawae