使用regexp.FindReaderSubmatchIndex后无法正确读取后续内容，该如何解决？

问题根源 #

regexp.FindReaderSubmatchIndex为完成正则匹配，会从bufio.Reader中预读超出匹配范围的字节到内部缓冲区，匹配完成后不会将这些预读的未匹配数据放回原bufio.Reader。这导致后续调用ReadRune/ReadByte时，只能从预读结束的位置开始读取，而非匹配结束的下一个位置。

比如你测试的foobarboo，匹配foo时函数预读了后续的bar，所以后续读取直接从boo开始；调用UnreadRune只能回退最后一个预读的字符，因此只能拿到rboo。

解决方案 #

方案1：用Peek+Discard手动控制读取位置 #

适合能预估数据长度的场景，步骤如下：

1. 调用bufio.Reader.Peek()获取足够多的字节（可根据需求调整长度）；
2. 将Peek到的字节转为字符串，用regexp.FindStringSubmatchIndex()找到匹配的结束位置；
3. 调用bufio.Reader.Discard()跳过匹配的字节数，此时Reader指针停在匹配结束的下一个位置；
4. 后续正常调用Read系列方法即可获取预期内容。

示例代码：

package main

import (
    "bufio"
    "fmt"
    "regexp"
    "strings"
)

func main() {
    input := "foobarboo"
    r := bufio.NewReader(strings.NewReader(input))
    re := regexp.MustCompile(`foo`)

    // Peek足够多的字节（实际场景可按需调整）
    peekData, err := r.Peek(len(input))
    if err != nil {
        fmt.Println("Peek error:", err)
        return
    }

    // 用字符串版正则获取匹配位置
    matchIndices := re.FindStringSubmatchIndex(string(peekData))
    if matchIndices != nil {
        // matchIndices[1]是匹配内容的结束索引
        _, err = r.Discard(matchIndices[1])
        if err != nil {
            fmt.Println("Discard error:", err)
            return
        }
    }

    // 读取剩余内容
    rest, err := r.ReadString('\x00')
    if err != nil && err.Error() != "EOF" {
        fmt.Println("Read error:", err)
        return
    }
    fmt.Println("剩余内容:", rest) // 输出 barboo
}

方案2：读取完整内容后用字符串正则处理 #

如果输入数据量不大，直接将bufio.Reader的全部内容读取到字符串中，再使用字符串版正则方法处理，完全避开Reader预读问题：

package main

import (
    "bufio"
    "fmt"
    "io"
    "regexp"
    "strings"
)

func main() {
    r := bufio.NewReader(strings.NewReader("foobarboo"))
    re := regexp.MustCompile(`foo`)

    // 读取全部内容
    fullContent, err := io.ReadAll(r)
    if err != nil {
        fmt.Println("ReadAll error:", err)
        return
    }

    matchIndices := re.FindStringSubmatchIndex(string(fullContent))
    if matchIndices != nil {
        // 获取匹配后的内容
        rest := string(fullContent[matchIndices[1]:])
        fmt.Println("剩余内容:", rest) // 输出 barboo
    }
}

方案3：自定义包装Reader处理预读回退 #

如果无法预估数据长度且不能读取全部内容，可以自定义包装bufio.Reader的结构体，在调用regexp.FindReaderSubmatchIndex前记录当前读取位置，匹配后将预读的未匹配数据重新写入Reader缓冲区。这种实现相对复杂，适合大流式数据场景。

内容的提问来源于stack exchange，提问作者abergmeier