如何正确处理Pandas中MS SQL十六进制OID的读取与跨库写入？

我之前也碰到过类似的二进制字段（比如你说的OID）在Pandas和MS SQL之间交互的编码问题，结合你使用的Pandas 0.22.0、Numpy 1.14.0和Python 3.6版本，给你几个针对性的解决方案：

方案一：读写时强制映射二进制类型 #

核心思路是从读取到写入全程保持字段的二进制本质，避免Pandas自动做不必要的编码转换：

1. 读取数据时指定二进制类型 #

使用pd.read_sql时，通过dtype参数明确指定OID字段为bytes类型，确保Pandas不会把二进制数据当成字符串处理：

import pandas as pd
import pyodbc

# 建立MS SQL连接
conn = pyodbc.connect("DRIVER={ODBC Driver 17 for SQL Server};SERVER=your_server;DATABASE=your_db;UID=user;PWD=pwd")
# 读取时指定oid_col为bytes类型
df = pd.read_sql("SELECT oid_col, other_cols FROM your_source_table", conn, dtype={'oid_col': bytes})

2. 写入数据时映射MS SQL的VARBINARY类型 #

用to_sql写入时，通过SQLAlchemy的类型映射，把Pandas的bytes字段对应到MS SQL的VARBINARY类型，避免驱动错误编码：

from sqlalchemy import create_engine, types

# 建立SQLAlchemy引擎
engine = create_engine("mssql+pyodbc://user:pwd@your_server/your_db?driver=ODBC+Driver+17+for+SQL+Server")
# 写入时指定oid_col对应VARBINARY类型
df.to_sql(
    'your_target_table',
    engine,
    if_exists='replace',
    index=False,
    dtype={'oid_col': types.VARBINARY(length=MAX)}  # 根据你的OID长度调整，比如VARBINARY(16)
)

方案二：十六进制字符串中转（兼容老版本驱动） #

如果方案一的类型映射还是有问题，可以把二进制数据转成十六进制字符串，写入时再在数据库层面转换回二进制：

1. 读取后转换bytes为十六进制字符串 #

把Pandas中的bytes对象转换成带0x前缀的十六进制字符串，这样不会丢失二进制信息：

# 处理oid_col：bytes转十六进制字符串，空值保持None
df['oid_col'] = df['oid_col'].apply(lambda x: f'0x{x.hex()}' if pd.notnull(x) else None)

2. 写入时用MS SQL函数转换回二进制 #

写入后，通过MS SQL的CONVERT函数把十六进制字符串转回VARBINARY类型（注意第二个参数用1表示带0x前缀的十六进制）：

-- 示例：插入时转换
INSERT INTO your_target_table (oid_col)
SELECT CONVERT(VARBINARY(MAX), oid_col, 1) FROM your_temp_table_from_pandas;

如果用to_sql，也可以在method参数里自定义插入语句，直接嵌入转换逻辑。

问题根源说明 #

你看到的b'Sz\xa0Q\xbe\xbb\x01\xa2'是二进制数据0x537AA051BEBB01A2的Python bytes表示，乱码的原因是写入时驱动错误地把bytes当成字符串去编码（比如用UTF-8），导致二进制数据被篡改。只要全程保持二进制类型的一致性，或者用十六进制字符串做无损失中转，就能解决问题。

内容的提问来源于stack exchange，提问作者bullet117