如何高效将utf-8-mac转换为utf-8，解决iconv大文件报错及Go实现差异问题

问题根因 #

你遇到的iconv大文件转换报错是macOS系统自带iconv的已知实现缺陷，它处理超过特定大小的NFD（utf-8-mac编码本质是Unicode规范化形式D的UTF-8编码）流时，会误报非法字符错误，和文件本身内容无关。

替代方案 #

方案1：替换为GNU iconv（成本最低，优先推荐） #

直接安装GNU版本的iconv即可规避系统自带版本的bug：

1. 执行brew install libiconv安装GNU iconv
2. 替换原有脚本中的iconv路径为/usr/local/opt/libiconv/bin/iconv，原有命令参数无需修改，即可直接处理任意大小的文件，不会抛出错误，也不需要拆分文件

方案2：Go语言实现正确的转换逻辑 #

你原有Go代码的结果差异问题来源于三个疏漏：

• 未捕获wc.Write的返回错误，部分转换失败的场景会被忽略
• 一次性读取全量文件，大文件场景会占用过高内存
• 未按顺序关闭写入器刷写缓冲区，部分尾部内容可能未写入文件
  修正后的流式转换代码如下：

package main

import (
	"io"
	"log"
	"os"

	"golang.org/x/text/unicode/norm"
)

func main() {
	srcPath := ".backup_files.unconv"
	dstPath := ".backup_files.goconv"

	// 打开源文件
	src, err := os.Open(srcPath)
	if err != nil {
		log.Fatalf("打开源文件失败: %v", err)
	}
	defer src.Close()

	// 创建目标文件
	dst, err := os.Create(dstPath)
	if err != nil {
		log.Fatalf("创建目标文件失败: %v", err)
	}

	// 初始化NFC规范化写入器
	normWriter := norm.NFC.Writer(dst)

	// 流式拷贝处理，32k缓冲区，适配任意大小文件
	_, err = io.CopyBuffer(normWriter, src, make([]byte, 32*1024))
	if err != nil {
		log.Fatalf("转换失败: %v", err)
	}

	// 按顺序关闭写入器和文件，确保缓冲区完全刷写
	if err := normWriter.Close(); err != nil {
		log.Fatalf("关闭规范化写入器失败: %v", err)
	}
	if err := dst.Close(); err != nil {
		log.Fatalf("关闭目标文件失败: %v", err)
	}
}

该实现的转换结果和GNU iconv完全一致，支持处理任意大小的文件，不会产生临时零碎文件。

结果验证 #

执行以下命令即可对比两个方案的输出一致性：
diff <(/usr/local/opt/libiconv/bin/iconv -f utf-8-mac -t utf-8 源文件路径) go转换后的文件路径
无输出即表示结果完全一致。

内容的提问来源于stack exchange，提问作者niels