使用JavaCC开发公交DSL解析器时遗漏了哪些实现点?
JavaCC 公交解析器开发补全指引
现有实现的核心偏差
- Token定义存在语法硬错误:比如
BUSNUMBER规则未闭合括号、BUSNAME的正则定义和实际需求完全错位 - 全局空白跳过规则不符合需求:当前写法会把双引号内部的空白符也直接删除,违反“仅忽略双引号外空白”的要求
- 关键Token缺失:未定义
->箭头、at关键字、时间格式、站点数字、字符串内容的匹配规则 - 未搭建语法层结构:仅定义Token不足以实现“字段顺序固定、元素数量校验”的解析要求
逐模块修正方案
1. 双引号内容的空白特殊处理
JavaCC没有内置的“字符串内不跳过空白”的全局开关,需要通过状态机切换实现:
普通文本状态下,所有空白符直接跳过;当识别到双引号时切换到字符串内部状态,此时保留所有字符(包括空白),直到遇到闭合双引号再切回普通状态。
对应的核心Token框架:
// 声明解析状态:NORMAL=普通文本,STRING=字符串内部 $STATES : { NORMAL, STRING } // 普通状态下的空白跳过规则 SKIP : <NOMORE: NORMAL> { ' ' | '\t' | '\n' | '\r' } // 遇到首个双引号:标记字符串开始,切到STRING状态 MORE : <NOMORE: NORMAL, STR_START: "\"" > { "\"" : STRING } // 字符串内部:所有可见字符全部保留,不做跳过 MORE : <IN: STRING> { ~["\"", "\r", "\n"] } // 遇到闭合双引号:完成字符串匹配,切回普通状态 TOKEN : <BUS_NAME: ~[] > { "\"" : NORMAL }
2. 补全所有合法Token
按照解析需求替换原有错误的Token定义,注意关键字要放在通用Token之前定义,避免被通用规则误匹配:
TOKEN : { // 固定关键字(优先级最高) < BUS : "bus" > | < AT : "at" > | < VIA : "via" > | < STOPS : "stops" > | < FREE : "free" > // 固定结构符号 | < LPAREN : "(" > | < RPAREN : ")" > | < ARROW : "->" > // 自定义格式Token // 24小时制时间 hh:mm,严格校验小时范围00-23、分钟范围00-59 | < TIME : (["0"-"1"]["0"-"9"] | "2"["0"-"3"]) ":" ["0"-"5"]["0"-"9"] > // 连续数字(可复用为公交编号、站点编号) | < NUMBER : ["0"-"9"]+ > }
3. 语法层规则实现
按照题目要求的固定字段顺序,写BNF规则,同时内嵌数量校验要求:
- 顶层入口规则:支持任意数量的公交声明
void dsl() : {} { ( busDeclaration() )* <EOF> }
- 单条公交声明规则:严格按顺序匹配字段
void busDeclaration() : {} { // 匹配公交编号段:bus(数字) -> <BUS> <LPAREN> <NUMBER> <RPAREN> <ARROW> // 匹配公交名称(双引号字符串) <BUS_NAME> // 匹配时间列表:at + 至少1个时间 <AT> ( <TIME> )+ // 匹配站点列表:via stops + 至少2个站点编号 <VIA> <STOPS> ( <NUMBER> ) ( <NUMBER> )+ // 匹配可选的free关键字 ( <FREE> )? }
边界适配说明
- 因为普通状态下所有空白符都会被跳过,示例中出现的换行、缩进排版(比如
at单独占一行、时间列表分两行、via stops拆分两行写)的格式完全不需要额外兼容,解析器会自动跳过所有排版空白 - 时间、站点的数量校验直接在语法层完成:
( <TIME> )+会自动拒绝没有时间的非法公交声明,( <NUMBER> ) ( <NUMBER> )+会自动拒绝站点数不足2个的非法声明
内容的提问来源于stack exchange,提问作者Nitrogen
相关产品推荐
相关产品推荐

