JavaCC生成代码解析UTF-8字符串失败问题求助

核心问题 #

你的STRING规则中，~["\"", "\\"]默认仅匹配ASCII范围内的字符（0-127），中文等UTF-8 Unicode字符超出该范围，因此无法被匹配，导致解析失败。即使还原语法，因旧版本默认未开启Unicode支持，问题依然存在。

解决步骤 #

1. 启用Unicode输入支持 #

在.jj语法文件开头添加OPTIONS配置，开启Unicode输入处理：

OPTIONS {
  UNICODE_INPUT = true;
  GRAMMAR_ENCODING = "UTF-8"; // 可替代命令行的-grammar_encoding参数
}

该配置会让JavaCC生成的解析器正确识别所有Unicode字符，而非局限于ASCII。

2. 修正STRING规则的匹配逻辑 #

启用UNICODE_INPUT后，原规则中的~["\"", "\\"]会自动匹配所有Unicode字符（除引号和反斜杠），也可以显式替换为更直观的[^"\\]，修正后的STRING规则：

<STRING : <QUOTES> ([^"\\])* ("\\"~[] ([^"\\])*)* <QUOTES>>

3. 确保输入编码正确 #

测试时需保证传递给解析器的字符串是UTF-8编码：

• 读取文件时指定UTF-8编码
• Java源码文件编码设为UTF-8，编译时添加参数：javac -encoding UTF-8 ...

版本兼容性 #

你尝试的JavaCC 4.x至7.x版本均支持UNICODE_INPUT选项（JavaCC 4.x开始引入），Java 6及以上版本也能兼容。只要正确配置上述选项，任意你试过的版本组合都可解决问题。

内容的提问来源于stack exchange，提问作者sveri