使用Flex-Lexer捕获字符串字面量错误的正则匹配规则问题咨询

核心问题根因 #

你遇到的token吞吃问题，以及非法转义无法识别的问题，根源在以下三点：

1. 未终止字符串正则的匹配逻辑存在缺陷
   你当前使用的"(\\.|[^\\"])*\n中，\\.规则会匹配反斜杠加任意字符，包括换行符。如果出现行尾带反斜杠的未终止字符串，该规则会跨多行吞入下一行的所有内容，直到匹配到换行符为止，直接吃掉后续所有行的token。
2. 转义匹配逻辑无合法性校验
   当前合法字符串规则"(\\.|[^\\"])*"将所有反斜杠开头的字符序列都判定为合法转义，没有做白名单校验，无法识别非法转义序列。
3. 输入回退逻辑缺失
   你没有对匹配到的末尾换行符做回退处理，换行符被当前错误规则消耗后，会直接影响下一行的token识别逻辑。

修复方案 #

1. 调整规则优先级与匹配逻辑 #

将合法字符串规则放在所有字符串错误规则的最前面，利用Flex「最长匹配优先、同长度先定义优先」的规则，保证合法场景优先命中：

/* 匹配合法字符串，可根据你的语言要求调整[]中的转义白名单 */
\"([^\\\"]|\\[ntr\\\'\"])*\"    { 
    // 处理合法字符串的逻辑
}

2. 拆分未终止字符串规则，避免吞token #

将未终止字符串拆为「普通未终止」和「带行尾非法转义的未终止」两类分别匹配，同时限制转义字符不可跟换行，避免跨行吞内容：

/* 匹配带行尾非法转义的未终止字符串 */
\"([^\\\"]|\\[^\n])*\\\n    {
    yyerror("未终止字符串字面量，包含非法行尾转义");
    // 回退末尾的换行符到输入流，不影响下一行token解析
    yyless(yyleng - 1);
}

/* 匹配普通未终止字符串 */
\"([^\\\"]|\\[^\n])*\n    {
    yyerror("未终止字符串字面量");
    yyless(yyleng - 1);
}

3. 添加非法转义序列检测 #

如果需要识别闭合字符串中的非法转义，可在合法规则后添加非法转义匹配规则：

/* 匹配包含非法转义的闭合字符串 */
\"([^\\\"]|\\[ntr\\\'\"])*\\[^ntr\\\'\"\n]    {
    yyerror("非法转义序列");
    // 可自行添加逻辑继续匹配到字符串闭合，或直接终止匹配
}

内容的提问来源于stack exchange，提问作者satazero