Oracle迁移MariaDB时SQLAlchemy编码异常问题：指定latin1却触发cp1252编码错误

问题1：为什么Python尝试使用cp1252而非指定的latin-1编码？ #

这个问题的核心是数据库层面的字符集别名混淆：

• 严格意义上的latin-1指ISO-8859-1标准，包含0x00-0xFF的所有字节，其中0x80-0x9F区间是控制字符（比如你遇到的\x96对应Unicode的U+0096，属于控制字符）。
• 但MariaDB（以及多数主流数据库）中的latin1字符集，实际上是**Windows-1252（cp1252）**的别名。cp1252是ISO-8859-1的超集，它把ISO-8859-1里的控制字符替换成了常用可打印字符（比如\x96在cp1252里对应Unicode的U+2013，即短破折号）。
• 当你在MariaDB连接字符串中指定?charset=latin1时，驱动会自动切换为cp1252编码处理。而你通过my_col.decode('latin-1')得到的字符串包含U+0096这类cp1252不支持的控制字符，所以驱动在尝试将Unicode字符串编码为cp1252时，就抛出了UnicodeDecodeError（这里的错误信息写的是Decode，实际是编码过程中出错，属于堆栈信息的表述细节）。

问题2：如何配置SQLAlchemy从Oracle读取时直接用latin-1编码？ #

你可以通过配置Oracle的SQLAlchemy连接参数，让驱动自动用latin-1解码字节数据，无需手动处理：

方法1：配置cx_Oracle驱动的编码参数 #

如果你使用cx_Oracle作为Oracle的SQLAlchemy驱动，创建引擎时直接指定encoding和nencoding为latin-1即可：

from sqlalchemy import create_engine

oracle_engine = create_engine(
    "oracle+cx_oracle://username:password@host:port/service_name",
    encoding='latin-1',
    nencoding='latin-1'
)

这样从Oracle读取CHAR类型的my_col列时，驱动会自动用latin-1编码解码原始字节，直接返回Unicode字符串，省去手动提取字节再解码的步骤。

方法2：处理字符映射（适配MariaDB的cp1252） #

由于MariaDB的latin1实际是cp1252，你需要将ISO-8859-1中的控制字符转换为cp1252对应的可打印字符，避免插入时出错。可以写一个转换函数：

# 映射ISO-8859-1控制字符到cp1252对应的字符
latin1_to_cp1252_map = {
    '\u0080': '\u20AC', '\u0082': '\u201A', '\u0083': '\u0192', '\u0084': '\u201E',
    '\u0085': '\u2026', '\u0086': '\u2020', '\u0087': '\u2021', '\u0088': '\u02C6',
    '\u0089': '\u2030', '\u008A': '\u0160', '\u008B': '\u2039', '\u008C': '\u0152',
    '\u008E': '\u017D', '\u0091': '\u2018', '\u0092': '\u2019', '\u0093': '\u201C',
    '\u0094': '\u201D', '\u0095': '\u2022', '\u0096': '\u2013', '\u0097': '\u2014',
    '\u0098': '\u02DC', '\u0099': '\u2122', '\u009A': '\u0161', '\u009B': '\u203A',
    '\u009C': '\u0153', '\u009E': '\u017E', '\u009F': '\u0178'
}

def convert_latin1_to_cp1252(input_str):
    return input_str.translate(str.maketrans(latin1_to_cp1252_map))

在将Oracle读取的字符串插入MariaDB前，调用这个函数转换字符，就能避免编码错误。

方法3：明确指定MariaDB连接的字符集为cp1252 #

既然MariaDB的latin1就是cp1252，你可以直接在连接字符串中指定charset=cp1252，让驱动更明确地使用对应编码：

mariadb_engine = create_engine(
    "mysql+pymysql://username:password@host:port/db_name?charset=cp1252"
)

内容的提问来源于stack exchange，提问作者FredNunes