如何基于ocamllex生成的词法分析器输出的token构建哈希表

现有代码核心错误点 #

• make_table 作为递归函数没有定义参数，也缺少匹配关键字（function/match ... with），不符合OCaml函数定义语法
• 原始定义的add_lexeme仅接受1个参数，代码后续调用时传入了2个参数，参数数量不匹配
• 递归读取token的逻辑错误：没有循环调用ocamllex生成的tokens函数获取下一个token
• 主函数main最后没有触发哈希表构建逻辑，反而递归调用自身会导致死循环
• 全局哈希表的设计会带来不必要的副作用，可优化为局部变量封装在构建函数内

正确实现方案 #

步骤1：定义token到哈希表键值的映射 #

假设你ocamllex定义的token类型如下，可根据你的实际定义调整分支内容，直接匹配token变体比匹配字符串更安全，编译器会自动做穷尽性检查：

(* 示例token类型，和你ocamllex中定义的保持一致即可 *)
type token = 
  | MINUS | PLUS | EOF | ID of string | INT of int | LPAREN | RPAREN

(* 将token转为要存入哈希表的 (词素文本, 类型标签) 键值对 *)
let token_to_entry = function
  | MINUS -> ("-", "BINOP")
  | PLUS -> ("+", "BINOP")
  | LPAREN -> ("(", "PUNCT")
  | RPAREN -> (")", "PUNCT")
  | EOF -> ("eof", "EOF")
  | ID s -> (s, "IDENTIFIER")
  | INT i -> (string_of_int i, "INTEGER")
  (* 补充你其他的token分支 *)

步骤2：封装哈希表构建逻辑 #

let build_lexeme_table lexbuf =
  let ht = Hashtbl.create 300 in
  let rec read_loop () =
    let current_token = tokens lexbuf in (* tokens是ocamllex生成的词法分析函数 *)
    let key, value = token_to_entry current_token in
    (* 如果需要相同词素去重，可把Hashtbl.add换成Hashtbl.replace *)
    Hashtbl.add ht key value;
    match current_token with
    | EOF -> ht (* 遇到EOF返回构建完成的哈希表 *)
    | _ -> read_loop () (* 继续读取下一个token *)
  in
  read_loop ()

步骤3：主函数逻辑 #

let main () =
  let lexbuf = Lexing.from_channel stdin in
  Lexing.set_filename lexbuf "stdin"; (* 等价于你原代码的set_filename操作 *)
  let lexeme_table = build_lexeme_table lexbuf in
  (* 此处补充你对哈希表的后续操作，示例为遍历打印所有内容 *)
  Hashtbl.iter (fun k v -> Printf.printf "词素：%s 类型：%s\n" k v) lexeme_table

let () = main ()

可选优化点 #

• 新增入参支持从文件读取输入，而非仅支持标准输入
• 如果不需要保存重复词素的多次出现记录，使用Hashtbl.replace替代Hashtbl.add避免冗余数据
• 可新增计数器统计每个词素的出现次数，哈希表的值可以存(类型, 计数)元组

内容的提问来源于stack exchange，提问作者Egydio Pacheco