多Goroutine用Arrow CSV Reader读同一文件返回空值问题

核心问题本质 #

你遇到的问题根本原因是多个CSV Reader共享（或复用）了同一个底层文件句柄/文件描述符，加上调小ChunkSize后，Reader的缓冲机制会和共享的文件指针产生冲突，导致Reader内部状态混乱，最终触发空指针或读取错误。

InferringReader（包括标准库csv.Reader）内部维护了自己的读取缓冲区和位置状态，一旦底层文件指针被其他操作（比如另一个Reader的读取、Seek）修改，当前Reader的内部缓冲和实际文件位置就会脱节，直接导致后续调用Next()、Err()等方法时出现异常。

你之前尝试方案的问题 #

1. 复制文件描述符：复制后的文件描述符共享同一个内核文件表项，文件指针是全局的，多个Reader操作时依然会互相干扰，导致状态混乱。
2. 复制偏移量后重新打开+Seek：如果Seek的目标位置不是某一行的起始字节位置，CSV Reader会读到半行数据，触发解析错误；另外如果代码中仍存在共享文件句柄的逻辑，也会继续导致冲突。
3. 关闭第一个Reader/文件描述符再调用flush：关闭文件句柄后，flush中的Reader使用的是已失效的句柄，自然会报错。

正确解决方案 #

1. 每个Goroutine独立打开文件并定位到行首偏移 #

这是最可靠的方案：

• 每个Goroutine单独调用os.Open()打开目标文件，获取独立的文件句柄。
• 调用file.Seek(byteOffset, io.SeekStart)定位到指定偏移量**（必须确保byteOffset是某一行的起始位置，否则会读到半行）**。
• 基于这个独立的文件句柄创建InferringReader或csv.Reader，设置合适的ChunkSize，然后读取指定lineLimit行。

示例伪代码：

func worker(byteOffset int64, lineLimit int) error {
    file, err := os.Open("large.csv")
    if err != nil {
        return err
    }
    defer file.Close()

    // 定位到行首偏移量
    if _, err := file.Seek(byteOffset, io.SeekStart); err != nil {
        return err
    }

    reader := csv.NewInferringReader(file)
    reader.ChunkSize = 1024 // 调小的ChunkSize

    count := 0
    for {
        record, err := reader.Next()
        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }
        // 处理record
        count++
        if count >= lineLimit {
            break
        }
    }
    return nil
}

2. 预扫描文件，确保分块偏移量是行首 #

如果你的byteOffset不是行首位置，必须先做一次预扫描：

• 遍历文件，记录每一行起始位置的字节偏移量，生成一个偏移量列表。
• 每个Goroutine从列表中取对应的起始偏移量，再执行上面的独立读取逻辑。

3. 绝对避免共享文件句柄或复用Reader #

无论哪种场景，都不要让多个Goroutine共享同一个文件句柄，也不要复用csv.Reader实例。每个Reader必须绑定独立的文件句柄，这样各自的缓冲和状态才不会互相干扰。

补充说明 #

你提到“重新打开文件不执行Seek可避免错误但漏读”，这是因为不Seek的话，每个Reader从文件开头读，自然不会有冲突，但也不符合分块读取的需求。只要保证每个Reader独立打开+Seek到正确的行首偏移，就能解决问题。

内容的提问来源于stack exchange，提问作者Mohamed Yasser