如何修复数据库土耳其字符乱码并转换为UTF-8？

一、先定位乱码根源 #

土耳其字符乱码大多是编码二次转换错误导致：比如原数据用ISO-8859-9（土耳其专用单字节编码）或WIN1254存储，却被错误地以UTF-8格式读取/写入，最终出现乱码。先通过SHOW CREATE TABLE（MySQL）或information_schema.columns（PostgreSQL）确认表/字段的当前字符集，以及原数据的真实编码。

二、自动批量转换方案 #

MySQL 场景 #

1. 先全量备份：

mysqldump -u 用户名 -p --default-character-set=utf8mb4 数据库名 > 备份文件名.sql

2. 修正表字符集（避免二次乱码）：
   • 先将表转为binary字符集，保留原始字节：

   ALTER TABLE 表名 CONVERT TO CHARACTER SET binary;
   

   • 再转换为utf8mb4并指定土耳其排序规则：

   ALTER TABLE 表名 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_tr_unicode_ci;
   

3. 修复已有乱码数据：
   如果数据已经因编码错误存储，执行以下SQL批量修正（假设原编码为ISO-8859-9）：

UPDATE 表名 SET 字段名 = CONVERT(BINARY CONVERT(字段名 USING latin1) USING utf8mb4);

PostgreSQL 场景 #

1. 全量备份：

pg_dump -U 用户名 数据库名 > 备份文件名.sql

2. 修正字段编码：
   • 先将字段转为bytea类型，保留原始字节：

   ALTER TABLE 表名 ALTER COLUMN 字段名 TYPE bytea USING 字段名::bytea;
   

   • 再从ISO-8859-9转码为UTF-8：

   ALTER TABLE 表名 ALTER COLUMN 字段名 TYPE text USING convert_from(字段名, 'ISO-8859-9');
   

3. 设置表默认字符集：

ALTER TABLE 表名 SET DEFAULT CHARACTER SET utf8mb4;

三、手动辅助修正方案（自动转换残留乱码） #

如果自动转换后仍有少量乱码，用Python脚本批量检测修正：

import psycopg2  # 对应PostgreSQL，MySQL用mysql.connector
from charset_normalizer import from_bytes

# 数据库连接配置
conn = psycopg2.connect(
    host="localhost",
    user="用户名",
    password="密码",
    database="数据库名"
)
cur = conn.cursor()

# 查询包含非ASCII乱码的记录
cur.execute("SELECT id, 字段名 FROM 表名 WHERE 字段名 ~ '[^\\x00-\\x7F]';")
rows = cur.fetchall()

for row_id, messy_text in rows:
    # 自动检测原编码并转换
    detect_result = from_bytes(messy_text.encode('latin1'))
    if detect_result:
        corrected_text = detect_result.best().decode()
        # 更新数据
        cur.execute("UPDATE 表名 SET 字段名 = %s WHERE id = %s;", (corrected_text, row_id))
        conn.commit()

cur.close()
conn.close()

注意：运行脚本前必须确认备份完成，避免数据丢失。

四、后续乱码预防 #

• 数据库连接时强制指定utf8mb4编码：比如MySQL连接参数添加charset=utf8mb4，JDBC连接串添加useUnicode=true&characterEncoding=utf8mb4
• 应用层统一用utf8mb4处理所有文本输入输出，避免中途编码转换
• 定期检查数据库字符集配置，确保所有表和字段的字符集均为utf8mb4

内容的提问来源于stack exchange，提问作者fugue