ANTLR4 C++目标HTTP解析器UTF-8转换错误，如何禁用UTF-8转换？

你遇到的问题本质是ANTLR默认会将输入字节流按UTF-8解码，而HTTP报文主体可能包含非UTF-8合法的二进制字节，导致解码失败。结合RFC 7230的规范，你可以通过以下方式处理：

1. 针对HTTP报头：指定US-ASCII编码解析 #

HTTP报头严格遵循US-ASCII编码，你可以让ANTLR使用US-ASCII编码解码输入字节，避免UTF-8解码的异常。具体实现分ANTLR版本：

ANTLR4.7+版本 #

// receivedBytes 是从TCP接收的完整HTTP报文字节数组
// 用US-ASCII编码构建字符流
CharStream charStream = CharStreams.fromByteArray(receivedBytes, "US-ASCII");
HttpLexer lexer = new HttpLexer(charStream);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
HttpParser parser = new HttpParser(tokenStream);

// 仅解析报头部分（根据你的语法规则调整方法名）
parser.httpHeader();

旧版ANTLR4（4.7之前） #

ANTLRInputStream inputStream = new ANTLRInputStream(receivedBytes, "US-ASCII");
HttpLexer lexer = new HttpLexer(inputStream);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
HttpParser parser = new HttpParser(tokenStream);

// 解析报头
parser.httpHeader();

2. 针对报文主体：直接处理字节流 #

HTTP报文主体是二进制字节流，不需要经过ANTLR的字符解析流程。解析完报头后，你需要自行定位报头与主体的分隔符（\r\n\r\n），然后直接提取剩余字节处理：

// 定位报头结束位置（\r\n\r\n的字节数组是{0x0D, 0x0A, 0x0D, 0x0A}）
int headerEndIdx = indexOf(receivedBytes, new byte[]{0x0D, 0x0A, 0x0D, 0x0A});
if (headerEndIdx != -1) {
    // 提取主体字节
    byte[] bodyBytes = Arrays.copyOfRange(receivedBytes, headerEndIdx + 4, receivedBytes.length);
    // 处理主体数据（比如保存文件、解析二进制格式等）
}

关键说明 #

• 不要将整个HTTP报文（包含主体）都传入ANTLR的字符流解析器，主体的二进制字节会触发UTF-8解码异常。
• US-ASCII编码是RFC 7230规定的报头编码，用它解码报头完全符合标准，不会丢失任何合法报头信息。

内容的提问来源于stack exchange，提问作者SzateX