字符串无效字符处理：应在词法分析阶段校验还是后续阶段处理？

允许的字符串格式 #

• 支持双引号或单引号包裹的字符串，示例：

  "hello"
  

• 允许\xAB格式的十六进制转义序列，示例：

  'hello \x74\x6f\x6d'
  # 解析后内容为 hello tom
  

无效字符串示例 #

"hello \x7z"

（注：\x后跟随的7z不符合十六进制字符规则，属于非法格式）

核心问题 #

这类字符串格式问题（包括非法转义序列、包含0x00空字符、长度超限等），应该在词法分析阶段抛出解析错误，还是仅在词法阶段抓取字符串token，将有效性校验交由后续阶段处理？

处理原则与实践 #

从编译原理的常规落地逻辑来看，需要分场景处理：

1. 必须在词法阶段处理的错误

   • 像\x7z这种违反token结构定义的错误，属于词法层面的问题。词法分析的核心是按预定义的字符规则识别token，\x后必须跟两位合法十六进制字符（0-9、a-f/A-F），不符合规则的话，词法分析器无法正确识别这是一个合法的字符串token，应该直接在词法阶段抛出错误。
   • 字符串未正确闭合（如只写了开头引号未写结尾）这类结构错误，也必须在词法阶段处理。

2. 适合交给后续阶段处理的校验

   • 字符串包含0x00空字符：如果空字符的合法性需要结合上下文判断，或是业务逻辑层面的限制而非词法规则，这类校验适合放在语法分析或语义分析阶段。
   • 字符串长度超限：如果长度限制属于语言的语义规则（而非词法结构要求），交给后续阶段更合理——词法分析器只负责识别token的结构，无需关心内容是否符合业务或语义层面的限制。

总结：词法分析阶段负责处理破坏token结构的错误，语义层面的有效性校验则交给后续阶段处理。

内容的提问来源于stack exchange，提问作者samuelbrody1249