Go语言处理大CSV文件如何优化断点续读效率避免逐行跳过？

你用Seek方法失效的核心原因是 Go标准库的csv.Reader自带内部缓冲机制：

• 调用reader.Read()时，csv.Reader会一次性从底层文件读取最多4KB（默认缓冲大小）的数据到内部缓冲区，再逐行解析返回给你
• 此时你调用file.Seek(0, io.SeekCurrent)拿到的是底层文件被缓冲读取后的位置，远大于你实际解析完成的最后一行的结束位置，所以下次重启用这个偏移量跳转必然会丢数据或者读错位。

方案1：封装带偏移追踪的CSV Reader #

直接使用csv.Reader自带的InputOffset()方法即可获取准确的处理偏移，该方法返回的是已经被解析完成的所有数据的总字节数，完全不受内部缓冲影响。你可以封装一层Reader简化使用：

type OffsetCSVReader struct {
    file   *os.File
    reader *csv.Reader
    // 记录当前已经处理完成的字节偏移量
    offset int64
}

func NewOffsetCSVReader(filePath string, startOffset int64) (*OffsetCSVReader, error) {
    f, err := os.Open(filePath)
    if err != nil {
        return nil, err
    }
    // 先跳转到上次记录的正确偏移位置
    if _, err := f.Seek(startOffset, io.SeekStart); err != nil {
        return nil, err
    }
    r := csv.NewReader(f)
    // 可根据你的CSV格式自定义配置，比如分隔符、是否校验列数等
    // r.Comma = '\t'
    // r.FieldsPerRecord = -1
    return &OffsetCSVReader{
        file:   f,
        reader: r,
        offset: startOffset,
    }, nil
}

// Read 读取一行，同时更新当前偏移量
func (o *OffsetCSVReader) Read() ([]string, error) {
    line, err := o.reader.Read()
    if err != nil {
        return nil, err
    }
    o.offset = o.reader.InputOffset()
    return line, nil
}

// GetOffset 获取当前已处理完成的偏移量，持久化这个值即可实现断点续传
func (o *OffsetCSVReader) GetOffset() int64 {
    return o.offset
}

func (o *OffsetCSVReader) Close() error {
    return o.file.Close()
}

对应修改你的业务逻辑即可实现高效断点续读：

func computeData(nrows int, startAt int64) (int64, error) {
    reader, err := NewOffsetCSVReader(config.DataSrcFile, startAt)
    if err != nil {
        return 0, err
    }
    defer reader.Close()

    isEOF := false
    for idx := 0; idx < nrows; idx++ {
        csvLine, readErr := reader.Read()
        if readErr != nil {
            if readErr == io.EOF {
                isEOF = true
                break
            }
            return 0, readErr
        }
        // 你的业务处理逻辑写在这里
        // process(csvLine)
    }
    // 返回当前正确的偏移量
    return reader.GetOffset(), nil
}

func main() {
    // startAt可从上次持久化的存储（本地文件、数据库等）中读取，程序崩溃重启也能接着跑
    var startAt int64 = 0
    nrows := 1000
    isMyConditionMatched := false
    for !isMyConditionMatched {
        bytesRead, err := computeData(nrows, startAt)
        if err != nil {
            // 自行处理错误逻辑
            panic(err)
        }
        // 持久化bytesRead，避免程序崩溃丢失进度
        // saveOffset(bytesRead)
        startAt = bytesRead
        // 自行判断终止条件，比如所有数据处理完就设置isMyConditionMatched = true
    }
}

方案2：预处理拆分CSV文件 #

如果你的CSV文件是固定不会修改的，也可以提前把大体积CSV按行拆分成多个固定大小（比如100MB）的小文件，按顺序编号，每次处理完一个文件就记录处理完成的文件编号，下次直接从下一个文件开始处理，实现更简单，也完全没有偏移计算的问题。

内容的提问来源于stack exchange，提问作者Andrea Costanzo