修复MySQL字符集与数据编码异常问题

先定位乱码根源 #

• 先查清楚当前数据库表、目标列的字符集配置，执行以下SQL：

  -- 查看表的完整字符集设置
  SHOW CREATE TABLE your_table_name;
  -- 单独查看目标列的字符集
  SHOW FULL COLUMNS FROM your_table_name LIKE 'your_column_name';
  

• 回忆异常出现前的操作：是不是改过字符集配置？当时上传这批数据用的是GBK还是UTF-8编码的文件？
• 对比正常数据和乱码数据的存储字节：正常中文UTF-8占3字节，GBK占2字节，乱码大概率是编码转译错误导致（比如把GBK数据当成UTF-8写入后再读取）。

尝试逆向编码转换修复 #

先做数据备份（绝对不能跳过）：

CREATE TABLE your_table_backup LIKE your_table_name;
INSERT INTO your_table_backup SELECT * FROM your_table_name;

如果确定是编码识别错误，比如原本是GBK的数据被误存为UTF-8，试试转换：

UPDATE your_table_name 
SET your_column_name = CONVERT(CONVERT(your_column_name USING latin1) USING gbk)
WHERE id BETWEEN [乱码数据起始ID] AND [乱码数据结束ID];

注：如果是其他编码组合（比如UTF-8被当成GBK），替换对应的编码参数即可，先在备份表测试效果。

脚本/工具批量修复 #

如果SQL转换无效，换用工具处理：

• 导出乱码数据为CSV，用Notepad++打开，切换编码（编码→转换为ANSI/UTF-8/GBK），找到能正常显示的编码后，重新导出为正确编码再导入数据库。
• 用Python脚本批量处理：

  import pandas as pd
  
  # 读取乱码文件（latin1是通用字节编码，先按原字节读取）
  df = pd.read_csv('garbled_data.csv', encoding='latin1')
  # 按正确编码解码
  df['your_column_name'] = df['your_column_name'].apply(lambda x: x.encode('latin1').decode('gbk'))
  # 保存为UTF-8编码的文件
  df.to_csv('fixed_data.csv', encoding='utf-8', index=False)
  

彻底避免后续问题 #

• 全链路统一字符集：数据库连接、Web服务器、表单提交都设置为utf8mb4（兼容所有中文及emoji）。
• 上传数据前强制校验：比如上传文件时自动检测编码，转成UTF-8后再写入数据库。

内容的提问来源于stack exchange，提问作者idontknow