PyODBC可连接Tibco数据虚拟化服务器，SQLAlchemy遇UnicodeDecodeError求助

问题背景 #

Windows机器已配置使用TIBCO(R) Data Virtualization 8.0驱动的ODBC DSN：

• PyODBC直接连接可正常执行查询：

import pyodbc
conn = pyodbc.connect('dsn=' + "Tibco_DSN")

sql_query = 'SELECT top 5 * FROM my_table'

cur = conn.cursor().execute(sql_query)
for row in cur:
    print(row)

• 使用SQLAlchemy的mssql+pyodbc连接字符串时，认证可通过，但执行查询触发报错：

import sqlalchemy
conn_str = "mssql+pyodbc://@Tibco_DSN"
engine = sqlalchemy.create_engine(conn_str, echo=True)

connection = engine.connect()    # 报错位置

sql_query = 'SELECT top 5 * FROM my_table'
cursor = connection.execute(sql_query)
rows = cursor.fetchall()
print(rows) 
connection.close()

报错信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb3 in position 0: invalid start byte

解决方法 #

1. 在连接字符串中指定ODBC驱动的字符集 #

Tibco驱动返回的字节流可能是GBK等非UTF-8编码，尝试修改连接字符串，显式指定字符集：

conn_str = "mssql+pyodbc://@Tibco_DSN?charset=gbk"

如果需要指定驱动名称，可补充：

conn_str = "mssql+pyodbc://@Tibco_DSN?driver=TIBCO%20Data%20Virtualization%208.0&charset=gbk"

2. 通过SQLAlchemy连接事件设置编码 #

利用SQLAlchemy的连接事件，在建立连接后手动设置会话编码：

import sqlalchemy
from sqlalchemy import event

conn_str = "mssql+pyodbc://@Tibco_DSN"
engine = sqlalchemy.create_engine(conn_str, echo=True)

@event.listens_for(engine, "connect")
def configure_connection(dbapi_conn, conn_record):
    cursor = dbapi_conn.cursor()
    # 根据Tibco服务器的实际编码调整，比如GBK
    cursor.execute("SET NAMES 'gbk'")
    cursor.commit()
    cursor.close()

# 后续正常执行查询
with engine.connect() as connection:
    result = connection.execute('SELECT top 5 * FROM my_table')
    print(result.fetchall())

3. 向PyODBC传递编码参数 #

通过SQLAlchemy的connect_args直接将编码参数传给pyodbc：

engine = sqlalchemy.create_engine(
    "mssql+pyodbc://@Tibco_DSN",
    echo=True,
    connect_args={"encoding": "gbk"}
)

部分场景下配合autocommit=True可能解决编码同步问题：

engine = sqlalchemy.create_engine(
    "mssql+pyodbc://@Tibco_DSN",
    echo=True,
    connect_args={"encoding": "gbk", "autocommit": True}
)

4. 确认Tibco服务器端编码配置 #

检查Tibco数据虚拟化服务器的默认字符集设置，确保客户端（SQLAlchemy）使用的编码与服务器端一致。如果服务器使用GBK等编码，客户端必须对应设置，否则会出现解码失败。

内容的提问来源于stack exchange，提问作者CodeoMascot