如何解决Golang读取UTF-16 Little Endian编码CSV文件的报错问题？

错误原因 #

Go标准库的unicode/utf16包并不存在NewReader函数，这是导致报错的直接原因。Go中处理非UTF-8编码的文本，通常依赖golang.org/x/text系列包完成编码转换，和你用Python的codecs库实现思路类似。

解决方案 #

核心思路是先将UTF-16LE编码的文件内容转码为UTF-8（encoding/csv默认仅支持UTF-8输入），再用csv.Reader处理。

步骤1：安装依赖包 #

执行以下命令安装编码转换所需的第三方包：

go get golang.org/x/text/encoding/unicode
go get golang.org/x/text/transform

步骤2：修改后的完整代码 #

package main

import (
    "encoding/csv"
    "io"
    "os"

    "golang.org/x/text/encoding/unicode"
    "golang.org/x/text/transform"
)

func main() {
    // 打开UTF-16LE编码的CSV文件
    file, err := os.Open("myfile.csv")
    if err != nil {
        panic(err)
    }
    defer file.Close()

    // 创建UTF-16LE解码器：若文件带BOM，将unicode.IgnoreBOM改为unicode.UseBOM
    utf16leDecoder := unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM).NewDecoder()
    // 将原始文件流转换为UTF-8编码的Reader
    utf8Reader := transform.NewReader(file, utf16leDecoder)

    // 初始化CSV阅读器，直接传入转码后的UTF-8 Reader
    csvReader := csv.NewReader(utf8Reader)
    csvReader.Comma = ',' // 保持自定义分隔符设置

    // 逐行读取并处理CSV内容
    for {
        row, err := csvReader.Read()
        if err != nil {
            if err == io.EOF {
                break // 读取到文件末尾，正常退出循环
            }
            panic(err) // 处理其他读取错误
        }
        // 此处添加你的行数据处理逻辑
        println(row)
    }
}

关键代码说明 #

• unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM)：明确指定编码为UTF-16小端序，忽略字节顺序标记（BOM）。如果你的CSV文件开头带有BOM，需将unicode.IgnoreBOM替换为unicode.UseBOM。
• transform.NewReader：将原始文件阅读器与解码器绑定，输出标准UTF-8编码的数据流，让csv.Reader可以直接处理。
• 修正了原代码中csv.NewReader(nil)的错误用法，直接传入转码后的阅读器即可完成初始化。

无第三方包的替代方案（不推荐） #

如果不想依赖第三方包，可手动读取文件字节，用unicode/utf16的Decode函数将UTF-16LE字节转成rune序列，再转换为UTF-8字符串。但这种方法需要自行处理分块读取、BOM识别、缓冲区管理等问题，复杂度远高于第三方包方案，仅适合特殊场景下使用。

内容的提问来源于stack exchange，提问作者Nayem Shnartho