CSV文件头部含ZWNBSP字符导致解析失败，求解决方案

问题原因 #

CSV文件开头的**ZWNBSP（零宽不换行空格）**是不可见字符，它出现在第一个字段的双引号之前，导致Go的encoding/csv解析器将其视为非引号字段的一部分，而字段内出现未转义的双引号，触发bare " in non-quoted-field错误。

解决方案 #

方法1：预处理文件内容，移除开头的ZWNBSP #

先读取文件全部内容，过滤掉开头的ZWNBSP字符，再将处理后的内容传给CSV解析器：

package main

import (
    "encoding/csv"
    "fmt"
    "os"
    "strings"
)

func main() {
    // 读取文件全部内容
    content, err := os.ReadFile("/Desktop/193657270154964993.csv")
    if err != nil {
        fmt.Println("读取文件错误:", err)
        return
    }

    // 移除开头的ZWNBSP字符（Unicode编码U+FEFF）
    cleanedContent := strings.TrimPrefix(string(content), "\uFEFF")

    // 使用处理后的内容创建CSV读取器
    reader := csv.NewReader(strings.NewReader(cleanedContent))
    records, err := reader.ReadAll()
    if err != nil {
        fmt.Println("解析CSV错误:", err)
        return
    }

    // 输出解析结果
    for _, record := range records {
        fmt.Println(record)
    }
}

方法2：逐行读取并处理首行 #

如果文件过大，不适合一次性读取全部内容，可以逐行读取，处理首行后再解析：

package main

import (
    "bufio"
    "encoding/csv"
    "fmt"
    "os"
    "strings"
)

func main() {
    file, err := os.Open("/Desktop/193657270154964993.csv")
    if err != nil {
        fmt.Println("打开文件错误:", err)
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    var cleanedLines []string

    for scanner.Scan() {
        line := scanner.Text()
        // 只处理首行的ZWNBSP
        if len(cleanedLines) == 0 {
            line = strings.TrimPrefix(line, "\uFEFF")
        }
        cleanedLines = append(cleanedLines, line)
    }

    if err := scanner.Err(); err != nil {
        fmt.Println("读取行错误:", err)
        return
    }

    // 拼接处理后的内容并解析
    reader := csv.NewReader(strings.NewReader(strings.Join(cleanedLines, "\n")))
    records, err := reader.ReadAll()
    if err != nil {
        fmt.Println("解析CSV错误:", err)
        return
    }

    for _, record := range records {
        fmt.Println(record)
    }
}

补充说明 #

• 原代码中的for循环配合ReadAll是错误用法：ReadAll会一次性读取所有记录，不需要循环调用，循环会导致第二次调用直接返回EOF错误并退出。
• ZWNBSP的Unicode编码是U+FEFF，通常是文件的BOM（字节顺序标记），常见于Windows生成的UTF-8文件中。

内容的提问来源于stack exchange，提问作者jia Jimmy