多语言Excel文件导入MySQL数据库失败，求可行解决方案

嘿，我之前处理过多语言（含俄语、阿拉伯语这类）Excel导入MySQL的场景，踩过不少和你一样的编码坑，给你几个实际可行的解决思路：

你之前用的utf8在MySQL里其实是utf8mb3，最多只支持3字节的Unicode字符，而像一些生僻汉字、特殊西里尔字母或者某些阿拉伯语变体可能需要4字节，这直接会导致字符被替换成问号/下划线。必须换成utf8mb4才能覆盖所有Unicode字符：

-- 修改数据库默认编码
ALTER DATABASE mydb CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- 修改表编码（注意：要把现有字段也同步改成utf8mb4，只改表默认没用）
ALTER TABLE mydata CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- 确保后续新增字段默认编码正确
ALTER TABLE mydata DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

utf8mb4_unicode_ci比utf8_general_ci的多语言排序更准确，更适合你的场景。

直接用Excel存CSV很容易出编码问题，它默认可能用系统编码（比如Windows的GBK），导致多语言字符乱码：

• 推荐用LibreOffice Calc打开Excel文件，然后导出为CSV：选择「UTF-8」编码，同时可以指定分隔符（比如用制表符\t代替逗号，避免字段里的逗号导致数据错位）。
• 如果一定要用Excel，保存时选「CSV UTF-8(逗号分隔)(*.csv)」，别选普通的CSV选项。
• 转JSON的话，别用在线工具，用Python的pandas脚本转换更可靠：

import pandas as pd
df = pd.read_excel('你的文件.xlsx')
df.to_json('output.json', force_ascii=False, orient='records')

force_ascii=False能保证多语言字符不被转义成ASCII编码。

减少中间步骤就能降低数据丢失的概率：

• 用GUI工具：比如Navicat、DataGrip或者MySQL Workbench，直接选择「导入数据」，数据源选Excel，导入时指定目标表的编码为utf8mb4，工具会自动处理字符编码映射。
• 用Python脚本直接写入：用pandas+sqlalchemy，全程控制编码：

import pandas as pd
from sqlalchemy import create_engine

# 连接MySQL，指定charset=utf8mb4
engine = create_engine('mysql+pymysql://用户名:密码@localhost/mydb?charset=utf8mb4')
df = pd.read_excel('你的文件.xlsx')
# 写入数据库，replace或append根据需求选择
df.to_sql('mydata', engine, if_exists='replace', index=False)

如果已经有了乱码的CSV，先检查编码：用Notepad++打开，看右下角的编码显示，如果是GBK/ANSI，直接转成UTF-8（菜单「编码」→「转为UTF-8」），再导入。也可以用命令行工具iconv转换：

# 假设原文件是GBK编码，转成UTF-8
iconv -f GBK -t UTF-8 input.csv > fixed.csv

如果用LOAD DATA INFILE导入CSV，一定要加上字符集参数：

LOAD DATA INFILE '你的文件.csv'
INTO TABLE mydata
CHARACTER SET utf8mb4
FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\\'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS; -- 如果CSV有表头的话忽略第一行

这些方法我之前试过，基本能解决多语言数据丢失的问题，你可以从换utf8mb4开始试，这是最核心的一步。

内容的提问来源于stack exchange，提问作者SMH