Golang bufio.Scanner报token too long错误的解决方案咨询

重试并增大缓冲区的可行性 #

bufio.Scanner触发ErrTooLong后，无法直接重试并动态调整缓冲区——因为Scanner出错后内部状态会终止扫描流程，且不会记录当前读取的偏移位置，无法复用原实例继续处理。

如果要尝试这种思路，你需要在捕获ErrTooLong后，创建新的Scanner实例，使用更大的缓冲区，同时手动跟踪文件的读取偏移量（比如用os.File.Seek）从断点继续读取。但这种实现复杂度较高，且如果遇到超大记录，可能仍会重复触发错误，不是最优解。

bufio.Scanner是否适配未知记录大小的场景？ #

Scanner并非完全不能用，但它的核心限制是：单条记录（token）必须能完整放入设定的缓冲区中。如果你的记录大小没有明确上限（比如可能出现远超常规内存预期的超大记录），Scanner就不是合适的选择——预先设过大缓冲区会浪费内存，设小了又会频繁触发ErrTooLong。

这种场景下，更推荐使用bufio.Reader的ReadBytes或ReadString方法，它们会动态读取直到遇到分隔符，内部自动扩容缓冲区来容纳整条记录，无需预先固定大小。

优化实现示例（使用bufio.Reader） #

package main

import (
    "bufio"
    "bytes"
    "fmt"
    "io"
)

func main() {
    // 模拟大文件的字节流
    byteArray := []byte("data1|data2|data3|data4|data5|data6|data7|data8|data9|data10")
    reader := bufio.NewReader(bytes.NewReader(byteArray))

    for {
        // 读取到'|'分隔符为止
        record, err := reader.ReadBytes('|')
        if err != nil {
            if err == io.EOF {
                // 处理文件末尾无分隔符的剩余记录
                if len(record) > 0 {
                    fmt.Println("记录内容:", string(record), "长度:", len(record))
                }
                break
            }
            fmt.Println("读取错误:", err)
            return
        }
        // 移除末尾的分隔符
        record = bytes.TrimSuffix(record, []byte("|"))
        fmt.Println("记录内容:", string(record), "长度:", len(record))
    }
}

若坚持使用bufio.Scanner的优化方案 #

如果一定要用Scanner，可以直接设置最大允许的缓冲区大小（bufio.MaxScanTokenSize，默认64KB），减少触发错误的概率。同时优化分割函数，避免不必要的字节转字符串开销：

package main

import (
    "bufio"
    "bytes"
    "fmt"
)

func main() {
    byteArray := []byte("data1|data2|data3|data4|data5|data6|data7|data8|data9|data10")

    // 使用Scanner支持的最大缓冲区
    maxBufSize := bufio.MaxScanTokenSize
    buf := make([]byte, maxBufSize)

    scanner := bufio.NewScanner(bytes.NewReader(byteArray))
    scanner.Buffer(buf, maxBufSize)
    scanner.Split(splitByPipe)

    for scanner.Scan() {
        chunk := scanner.Text()
        fmt.Println("Chunk:", chunk, "长度:", len(chunk))
    }
    if err := scanner.Err(); err != nil {
        fmt.Println("错误:", err)
    }
}

func splitByPipe(data []byte, atEOF bool) (advance int, token []byte, err error) {
    if atEOF && len(data) == 0 {
        return 0, nil, nil
    }
    // 用bytes.IndexByte替代strings.Index，避免字节转字符串的性能损耗
    if idx := bytes.IndexByte(data, '|'); idx >= 0 {
        return idx + 1, data[:idx], nil
    }
    // 已到文件末尾，返回剩余数据
    if atEOF {
        return len(data), data, nil
    }
    // 返回0,nil,nil表示需要读取更多数据
    return 0, nil, nil
}

内容的提问来源于stack exchange，提问作者Peterslav