如何在Flex词法分析器中为单个字符生成两个Token以解决语法冲突

Flex 的 yylex() 函数每次调用只能返回一个 Token，你写的连续 return 语句里第二个 return 根本不会执行——第一个 return 直接终止了函数。要实现单个输入对应多个 Token，得用缓存机制，把第二个 Token 暂存起来，下次调用 yylex() 时优先返回缓存的 Token。

具体实现步骤 #

1. 定义缓存变量：在 Flex 的 %{ ... %} 块里声明一个静态变量，用来缓存待返回的第二个 Token：

static int pending_token = 0; // 0 表示无待返回的 Token

2. 修改词法规则：遇到需要生成双 Token 的字符时，先把第二个 Token 存入缓存，再返回第一个 Token。比如处理 ( 的规则：

"("    {
          pending_token = tLPAREN2;
          return tLPAREN;
        }

3. 添加缓存检查逻辑：在 Flex 规则段最开头，加入缓存检查代码，每次调用 yylex() 时先判断是否有待返回的 Token，如果有就先返回它并清空缓存：

%{
static int pending_token = 0;
%}

%%
{
  if (pending_token != 0) {
    int temp = pending_token;
    pending_token = 0;
    return temp;
  }
}

// 你的其他词法规则
"("    {
          pending_token = tLPAREN2;
          return tLPAREN;
        }
// ... 其他规则
%%

注意事项 #

• 缓存变量必须是静态或全局的，保证每次调用 yylex() 时状态能保留。
• 如果有多个需要生成双 Token 的字符，统一用这个缓存机制处理即可；若存在连续生成双 Token 的场景，可把缓存改成队列来存储多个待返回 Token。
• 配合 Bison 使用时，要确保语法规则能正确处理连续的两个 Token，避免引入新的语法冲突。

内容的提问来源于stack exchange，提问作者YANIX