当0表示文件结束符时，如何在Flex词法分析器中处理NUL字符

你的判断完全正确。
Flex生成的词法分析器中，yylex()函数的返回值有硬编码约定：返回值为0即代表到达文件末尾（EOF），词法分析流程终止。你写的规则中返回yytext[0]，也就是NUL字符对应的整数值0，主函数的循环判断条件while ( token != 0 )会直接把这个返回值识别为EOF信号，循环体根本不会执行，自然没有任何输出。
除此之外，默认配置下Flex对输入流中的NUL字符存在特殊处理，也容易导致NUL无法被正常匹配：

• 若以文本模式（"r"）打开包含NUL的二进制文件，部分操作系统（如Windows）会做特殊字符转换，可能导致读取异常
• Flex默认用C字符串形式管理yytext，依赖末尾的NUL标识字符串结束，如果不做特殊配置，匹配到NUL时容易出现内容截断问题

你需要从三个层面调整代码：

• 绝对不要用0作为自定义token的返回值
  0是EOF的专属返回值，所有自定义token必须使用非0值。你可以为NUL定义一个专属的非0常量（通常选大于255的值，和普通ASCII字符做区分），匹配到NUL时返回这个常量即可。
• 开启Flex的二进制输入支持，用二进制模式打开文件
  在Flex选项中添加8bit配置，让Flex支持完整的8位字符输入（包括0x00）；打开文件时使用"rb"二进制模式，避免操作系统对二进制内容做隐式转换。
• 不要依赖yytext的字符串结束符判断内容长度
  当匹配内容包含NUL时，yytext会在NUL位置被截断，必须使用Flex内置的yyleng变量获取当前匹配到的token的准确长度。另外NUL是不可见控制字符，直接用%c打印不会有可见输出，建议同步打印其十六进制值方便调试。

%option noyywrap 8bit
%{
#include <stdio.h>
// 为NUL定义非0的专属token值，避开EOF的0值约定
#define TOKEN_NUL 256
%}
%% 
\0               { return TOKEN_NUL; }
%%
int main(int argc, char *argv[])
{ 
      // 用二进制只读模式打开文件
      yyin = fopen(argv[1], "rb");
      int token = yylex();
      while ( token != 0 ) {
        switch(token) {
           case TOKEN_NUL:
              printf("TOKEN: NUL (hex value: 0x00), matched length: %d\n", yyleng);
              break;
           default:
              printf("TOKEN: char '%c', hex value: 0x%02x\n", yytext[0], (unsigned char)yytext[0]);
          }
        token = yylex();
      } 
      fclose(yyin);
      return 0;
}

编译运行上述代码，读取只包含1字节NUL的测试文件时，就会正常打印匹配到NUL的提示信息。

内容的提问来源于stack exchange，提问作者Roger Costello