Idris中对List Bits8类型二进制数据做词法标记的推荐方案

官方推荐方案 #

Idris官方不推荐将Bits8转Char再复用Text.Lexer的方案，而是建议直接使用contrib库中专门为二进制数据设计的词法分析组件，该组件原生适配List Bits8类型输入，无需做字符类型转换。

该方案的核心特性：

• 匹配规则直接基于字节定义，支持字节值、字节范围、固定字节序列等匹配条件，编写二进制协议解析规则更直观
• 对应的令牌构造器直接接收List Bits8类型的匹配结果，类型定义如下：

TokenMap : (tokenType : Type) -> Type
TokenMap tokenType = List (BinaryLexer, List Bits8 -> tokenType)

• 完全规避了字节转字符的开销，也避免了非UTF-8字节转Char时的编码错误问题，性能和稳定性都优于类型转换方案。

如果确实有需要复用现有Text.Lexer规则的场景，也可以选择按Latin-1编码将整个List Bits8批量转换为String，Latin-1编码的每个字节直接对应一个Unicode码点，转换过程不会丢失字节信息，比逐字节转换的实现更简洁可靠，但性能仍低于原生二进制词法分析方案。

内容的提问来源于stack exchange，提问作者Cactus