如何在Go中对卡顿/慢响应的io.Reader执行正则匹配？

我正在开发一款需在现有net.Conn中识别多种协议的应用，通过数据库中的正则表达式匹配协议特征，要求匹配成功后立即执行操作（暂不考虑多正则并行匹配）。

简化示例：自定义RuneReader模拟net.Conn，读取字符时会打印信息并延迟。使用regexp.MatchReader匹配“World”时，匹配成功后仍多读了2个字符，导致无法及时响应客户端的协议交互需求。

该行为在Go标准库文档中有明确说明：正则匹配方法可能会读取匹配结果之外的任意多字符。部分正则无需多读字符，但标准库实现仍会读取多余内容。

目前临时方案是每次读取后重新匹配全量历史数据，但会重复扫描、效率低下。请问能否通过Go标准库或纯Go正则库，实现对数据流的可预测匹配？

1. 基于标准库的缓冲式匹配方案 #

利用标准库regexp结合自定义缓冲读取器，手动控制读取节奏，避免多读超出匹配范围的字符：

• 实现带缓冲的net.Conn封装，每次读取少量数据（逐字节/逐rune）存入缓冲区。
• 每新增一段数据后，用regexp.FindReaderIndex在缓冲区内匹配目标正则。
• 匹配成功后，立即停止读取，同时保留缓冲区中匹配位置后的剩余数据，供后续协议交互使用。

示例核心代码：

import (
    "bytes"
    "net"
    "regexp"
)

type BufferedConn struct {
    conn net.Conn
    buf  bytes.Buffer
}

func (bc *BufferedConn) Read(p []byte) (n int, err error) {
    // 优先读取缓冲区剩余数据
    if bc.buf.Len() > 0 {
        return bc.buf.Read(p)
    }
    return bc.conn.Read(p)
}

func MatchProtocol(bc *BufferedConn, re *regexp.Regexp) (bool, []byte, error) {
    tmp := make([]byte, 1)
    for {
        n, err := bc.Read(tmp)
        if err != nil {
            return false, nil, err
        }
        bc.buf.Write(tmp[:n])

        // 检查缓冲区是否匹配
        if loc := re.FindReaderIndex(&bc.buf); loc != nil {
            // 提取匹配结果
            match := make([]byte, loc[1]-loc[0])
            bc.buf.ReadAt(match, int64(loc[0]))
            // 保留匹配后的剩余数据
            remaining := make([]byte, bc.buf.Len()-loc[1])
            bc.buf.ReadAt(remaining, int64(loc[1]))
            bc.buf.Reset()
            bc.buf.Write(remaining)
            return true, match, nil
        }
    }
}

2. 使用纯Go流式正则库 #

选择专门针对数据流场景设计的纯Go正则库，这类库会逐字符处理输入，匹配成功后立即返回，不会多读额外字符：

• 部分库会将正则编译为状态机，逐输入字符更新状态，一旦满足匹配条件就终止处理，同时记录未处理的剩余字符。
• 这类方案无需手动维护缓冲区，适配流式场景的效率更高。

3. 优化正则表达式结构 #

如果必须依赖标准库regexp，可以通过优化正则写法减少预读行为：

• 用非贪婪量词（*?、+?）替代贪婪量词（*、+），降低引擎预读动力。
• 明确匹配边界，比如使用^、$锚定，或指定明确的终止字符，让引擎更早确定匹配完成，减少不必要的预读。

内容的提问来源于stack exchange，提问作者9072997