如何向MySQL Unicode行写入含高位字节的二进制数据（兼容旧系统）

哦，这个问题我之前帮团队踩过一模一样的坑！核心原因是MySQL对字符串字段的字符集校验逻辑：旧系统用二进制驱动写入时，实际上是把二进制数据当作单字节字符集（比如latin1）存储的，而新系统默认用utf8/utf8mb4连接的话，MySQL会校验写入的字节是否是合法的Unicode编码，非法的高位字节（0x80-0xFF范围内非合法Unicode的部分）就会被截断或替换成�，导致旧系统读不出正确数据。

因为不能修改现有表，所以只能从新系统的写入逻辑入手，以下是经过验证的可行方案：

方案1：强制写入时使用latin1字符集连接 #

这是最直接的兼容方案，完全对齐旧系统的写入逻辑：

• 在新系统的数据库连接参数中，明确指定字符集为latin1，同时设置连接排序规则为latin1_swedish_ci（MySQL默认的latin1排序规则）。
  • 示例JDBC连接URL：

    jdbc:mysql://host:port/dbname?characterEncoding=latin1&connectionCollation=latin1_swedish_ci&useSSL=false
    

  • 示例Python（MySQLdb）连接参数：

    conn = MySQLdb.connect(
        host='host',
        user='user',
        passwd='pass',
        db='dbname',
        charset='latin1'
    )
    

• 原理：latin1是单字节字符集，每个字节都对应一个唯一的字符，MySQL不会对其做Unicode合法性校验，二进制数据会被原封不动地存储，和旧系统的写入结果完全一致。

方案2：直接以二进制类型传递参数（推荐用于参数化查询） #

如果你的新系统使用参数化查询，可以跳过字符集转换，直接把二进制数据当作字节数组传递给MySQL：

• Java（JDBC）：使用PreparedStatement.setBytes()方法代替setString()，直接写入字节数组。

  String sql = "INSERT INTO your_table (binary_column) VALUES (?)";
  PreparedStatement pstmt = conn.prepareStatement(sql);
  pstmt.setBytes(1, yourBinaryData); // 直接传递字节数组
  pstmt.executeUpdate();
  

• Python（MySQLdb）：使用%b占位符来指定二进制参数：

  cursor.execute("INSERT INTO your_table (binary_column) VALUES (%b)", (your_binary_data,))
  

• 原理：这种方式会让MySQL直接把字节数据写入字段，绕过字符集的编码/解码逻辑，完全避免截断问题。

关键验证步骤 #

写完后一定要验证存储的数据是否和旧系统一致：

• 用MySQL命令行执行SELECT HEX(binary_column) FROM your_table WHERE id = ?，查看存储的十六进制字符串是否和原始二进制数据的十六进制完全匹配。
• 用旧系统读取该条数据，确认能正常解析。

内容的提问来源于stack exchange，提问作者Schuyler