在Clojure中实现40字节SHA压缩为20字节时的还原异常问题

你遇到的问题核心在于：0x08到0x0d对应的是ASCII控制字符，它们不是可打印字符，在文本处理（比如复制粘贴、工具解析）过程中会被特殊处理或丢失，导致原始二进制数据被篡改。

让我们拆解细节：

1. 你的函数逻辑是把每两个十六进制字符转成一个字节，再转成char拼接成字符串。比如十六进制08会被转成ASCII退格字符（U+0008），0a转成换行符（U+000A），这些字符属于ASCII控制字符范畴——它们不是用来显示文本的，而是用来控制设备（比如终端、打印机）的行为。

2. 当你把包含这些控制字符的字符串复制到还原工具时，工具（或者中间的文本传输环节）可能会把这些字符当成操作指令，而不是原始字节数据：

   • 退格字符（0x08）可能会被解析为删除前一个字符的操作，导致字符串长度变短；
   • 换行（0x0A）、回车（0x0D）会被当成换行符，工具可能会把它们处理成文本换行，而不是一个字节的0x0A/0x0D；
   • 其他控制字符比如垂直制表（0x0B）、换页（0x0C）也可能被工具忽略或转换。

3. 而像5e4fb7a0afe4f2ec9768a9ddd2c476dab7fd449b这样的SHA，所有十六进制对对应的都是可打印ASCII字符（比如5e是^，4f是O），这些字符在文本处理中不会被篡改，所以工具能正常还原。

要避免这个问题，你需要用适合存储二进制数据的格式来保存压缩后的SHA，而不是纯字符串：

• 使用字节数组：在Clojure中直接返回byte[]类型，而不是把字节转成char拼接成字符串。二进制数据不会被文本处理环节篡改。
• 使用Base64编码：如果必须用文本格式表示二进制数据，把20字节的二进制数据编码成Base64字符串，Base64只使用可打印字符，能保证数据在文本传输中完整无损。
• 避免用Unicode字符承载二进制数据：Clojure的char是Unicode字符，虽然单字节ASCII控制字符在UTF-8下还是一个字节，但它们的文本语义会导致处理时被篡改，这不是存储二进制数据的正确方式。

比如修改你的函数返回字节数组：

(defn pack-sha-1 [sha-1]
  (->> sha-1
       (partition 2)
       (map (partial apply str))
       (map #(Integer/parseInt % 16))
       (byte-array)))

这样你得到的是原始的20字节二进制数据，用工具还原时直接读取字节就能得到正确的40位SHA。

内容的提问来源于stack exchange，提问作者Suvrat Apte