如何使用Flex+Bison解析二进制消息并构建AST？

结论：完全可以，但需要针对二进制流的特性调整Flex+Bison的使用方式，毕竟它们原本是为文本源码设计的工具。

下面是具体的思路和实现建议：

核心差异与调整方向 #

文本分词是按字符/符号切分令牌，但二进制流是按字节/固定长度块提取"令牌"，所以要做这些关键调整：

• 把Flex的输入从文本流改成原始二进制字节流，禁用换行、空白自动处理等文本相关逻辑。
• 固定长度类型（比如int、int64_t、char[2]）直接读取对应字节数作为一个"令牌"；分支类型（比如body: A|B|C）需要先解析前置标识（比如type字段），再决定后续解析逻辑。

具体实现步骤 #

1. Flex词法分析器改造 #

• 添加%option binary（部分Flex版本支持）来开启二进制输入模式，同时关闭%option nodefault以外的文本相关选项。
• 定义对应二进制类型的规则，比如：

  /* 读取4字节作为int类型令牌 */
  .{4}    { yylval.int_val = *(int*)yytext; return INT_TOKEN; }
  /* 读取8字节作为int64_t类型令牌 */
  .{8}    { yylval.int64_val = *(int64_t*)yytext; return INT64_TOKEN; }
  /* 读取2字节作为char[2]类型令牌 */
  .{2}    { memcpy(yylval.char2_val, yytext, 2); return CHAR2_TOKEN; }
  

• 注意：字节序问题必须处理，比如如果消息是大端序，读取后要转换为主机字节序再存入语义值。

2. Bison语法分析器设计 #

• 语法规则严格对应二进制消息的内存布局，同时利用语义值传递解析结果、触发分支逻辑，比如：

  %union {
      int int_val;
      int64_t int64_val;
      char char2_val[2];
      struct ASTNode* ast_node;
  }
  
  %token INT_TOKEN INT64_TOKEN CHAR2_TOKEN
  
  %%
  /* 解析消息M */
  message_M: INT_TOKEN CHAR2_TOKEN INT64_TOKEN message_body
           {
               /* 构建M的AST节点，把type、code、timestamp和body节点组装起来 */
               $$ = create_M_ast($1.int_val, $2.char2_val, $3.int64_val, $4.ast_node);
           }
  ;
  
  /* 根据type字段的值，选择解析对应的子消息 */
  message_body:
      { if (current_type == 1) YYACCEPT; } message_A
      { $$ = $2.ast_node; }
      | { if (current_type == 2) YYACCEPT; } message_B
      { $$ = $2.ast_node; }
      | { if (current_type == 3) YYACCEPT; } message_C
      { $$ = $2.ast_node; }
  ;
  
  /* 解析消息A */
  message_A: INT_TOKEN message_A_body
           {
               $$ = create_A_ast($1.int_val, $2.ast_node);
           }
  ;
  %%
  

• 这里的current_type需要从message_M的第一个INT_TOKEN值中获取，传递给语法分析器来分支处理。

3. 关键注意事项 #

• 可变长度类型处理：如果有动态长度字段（比如可变数组、字符串），需要先读取长度字段，再通过Flex动态读取对应字节数，这时候可以用Bison的语义值传递长度，让Flex调整读取逻辑。
• 性能权衡：Flex+Bison的文本优化对二进制流不一定适配，高性能场景下手动写解析器可能更快，但如果追求代码结构化、可维护性，用Flex+Bison是合理选择。

替代思路 #

如果觉得改造Flex+Bison太繁琐，也可以基于你给出的message定义语法，用代码生成工具自动生成解析代码（类似Protobuf的思路），但既然你已经熟悉Flex+Bison，改造现有工具的学习成本更低。

内容的提问来源于stack exchange，提问作者Xiaoyong Guo