如何使用JFlex为含固定列注释的RPG自由格式代码编写lex词法分析器

方案1：单Lexer内置列判断（推荐，无额外预处理步骤） #

JFlex内置yycolumn()方法可直接获取当前解析位置的列偏移（默认1基计数，不同版本可自行调整逻辑），无需拆分为两阶段Lexer，直接通过状态机规则区分注释和代码即可：

• 首先在JFlex声明部分新增两个行级状态：

%state IN_CODE
%state TRAILING_COMMENT

• 规则部分按列范围匹配：

/* 初始状态：行首匹配前5列注释，直接丢弃或生成注释Token均可 */
<YYINITIAL>^.{1,5} { 
  // 处理前导注释，处理完成后切换到代码状态
  yybegin(IN_CODE);
}

/* 代码状态：列范围在6-79时走原有词法规则 */
<IN_CODE> {
  // 列位置未超过79时，复用你已写好的所有代码匹配规则，示例如下：
  "IF" { return IF; }
  [a-zA-Z_]+ { return IDENTIFIER; }
  // 到达79列时切换到尾注释状态
  . { 
    if(yycolumn() >=79) yybegin(TRAILING_COMMENT); 
    else { /* 原有字符处理逻辑 */ } 
  }
}

/* 尾注释状态：剩余行内容全部按注释处理，换行后重置状态 */
<TRAILING_COMMENT> {
  [^\n]+ { /* 处理尾注释 */ }
  \n { yybegin(YYINITIAL); }
}

方案2：轻量两阶段处理（改造成本最低） #

如果不想改动已调试好的代码段词法规则，可以加一个极简的预处理步骤：

• 第一阶段逐行读取原始输入，每行仅截取下标为5到78的字符段（Java字符串下标0基，对应原始的6-79列），前后的注释可自行选择丢弃或单独存储
• 将截取得到的纯代码内容输入到你原有已实现的词法分析器即可，完全不用调整原有lex规则

注意事项 #

• 无需自行维护列计数，JFlex的yycolumn()会在每次遇到换行符时自动重置为0/1，符合固定列格式的解析要求
• 如果需要保留前后注释的内容和位置信息，方案1更适合，可以同时生成注释Token和代码Token，位置信息不会丢失

内容的提问来源于stack exchange，提问作者LppEdd