Firestore无法保存带重音字符？Golang迁移数据遇UTF-8问题求助

我之前踩过几乎一模一样的坑，手动能在Firestore界面输入重音字符，说明Firestore本身完全支持这类字符，问题肯定出在Golang从MySQL读取数据的编码环节，咱们一步步来解决：

1. 强制MySQL连接使用utf8mb4字符集 #

这是最常见的根源——sqlx（准确说是底层的mysql驱动）默认的连接字符集可能不是utf8mb4，导致读取带重音的字符时被转成了无效的UTF-8字节序列。

你需要在DSN（数据源名称）里明确加上charset=utf8mb4参数，示例：

dsn := "your_user:your_pass@tcp(your_host:3306)/your_db?charset=utf8mb4&parseTime=true&loc=Local"
db, err := sqlx.Connect("mysql", dsn)
if err != nil {
    // 处理错误
}

一定要用utf8mb4而不是utf8，因为MySQL的utf8其实是utf8mb3，不支持某些复杂的Unicode字符，而你的表用的是utf8mb4_unicode_520_ci，匹配字符集才能保证读取到正确的字节。

2. 验证读取到的字符串是否为有效UTF-8 #

在写入Firestore之前，先验证从MySQL读取的字符串是否是有效的UTF-8，这能帮你定位问题是否真的在读取环节：

import "unicode/utf8"

// 从数据库读取数据后
if !utf8.ValidString(yourString) {
    // 这里说明字符串是无效的UTF-8，回到第一步检查连接设置
    log.Printf("Invalid UTF-8 string: %q", yourString)
}

如果这里返回false，说明数据在读取时就已经被破坏了，必须确保连接字符集和表的字符集一致。

3. 更新Firestore Go SDK到最新版本 #

旧版本的Firestore SDK可能存在对某些UTF-8字符处理的bug，执行下面的命令更新到最新版：

go get cloud.google.com/go/firestore@latest

更新后再测试迁移，有时候旧版本的proto序列化逻辑会对某些重音字符误判为无效UTF-8。

4. 极端情况：手动转码（不推荐，仅作为临时方案） #

如果以上步骤都无效，可能是MySQL返回的字节是其他编码（比如latin1），这时候可以手动转码成UTF-8：

import "golang.org/x/text/encoding/charmap"

// 假设读取到的字节是latin1编码
rawBytes, err := db.QueryRow("SELECT your_column FROM your_table WHERE id=?", 1).Bytes()
if err != nil {
    // 处理错误
}
utf8Str, err := charmap.ISO8859_1.NewDecoder().String(string(rawBytes))
if err != nil {
    // 处理错误
}
// 然后用utf8Str写入Firestore

不过这只是临时方案，根本解决还是要确保MySQL连接的字符集正确，避免不必要的转码。

总结一下：90%的情况都是连接字符集没设对，只要把DSN里的charset改成utf8mb4，问题就能解决。

内容的提问来源于stack exchange，提问作者Brent