Windows 64位下SBCL+Babel处理UTF-8字符串字节数异常求助

问题根源 #

Windows平台的SBCL对Unicode补充平面字符（如👉U+1F449、📍U+1F4CD这类emoji）的内部存储采用UTF-16代理对形式——每个补充平面字符被拆分为两个16位代理字符。Babel的string-to-octets函数直接处理这些代理字符，将每个代理单独按UTF-8编码，最终得到错误的20字节结果（每个代理对转成6字节，而非正确的4字节emoji编码）。

解决方案 #

先将字符串转换为完整的Unicode码点序列，再通过Babel编码为UTF-8字节流。

步骤1：实现字符串转码点序列的函数

该函数会将SBCL内部的代理对还原为完整的Unicode码点：

(defun string-to-codepoints (string)
  (let ((codepoints nil)
        (length (length string))
        (index 0))
    (loop while (< index length) do
      (let ((char (char string index)))
        (if (sb-unicode:surrogate-p char)
            (progn
              (push (sb-unicode:surrogate-to-code char (char string (1+ index))) codepoints)
              (incf index 2))
            (progn
              (push (char-code char) codepoints)
              (incf index 1)))))
    (nreverse codepoints)))

步骤2：用码点序列生成正确的UTF-8字节

结合Babel的code-points-to-octets函数，将码点序列转换为标准UTF-8编码：

(defun print-hex (octets)
  (dotimes (offset (length octets))
    (let ((byte (aref octets offset)))
      (format t "~2,'0x " byte)))
  (format t "(~A bytes)~%" (length octets)))

(let ((string "👉TEST📍TEST"))
  (format t "TEST STRING [~A]~%" string)
  (print-hex (babel:code-points-to-octets (string-to-codepoints string) :encoding :utf-8)))

运行结果

执行后将输出正确的16字节UTF-8编码：

TEST STRING [👉TEST📍TEST]
f0 9f 91 89 54 45 53 54 f0 9f 93 8d 54 45 53 54 (16 bytes)

补充说明 #

Linux环境下SBCL默认采用UTF-8作为字符串内部编码，因此不会出现代理对拆分的问题，string-to-octets可以直接得到正确结果。

内容的提问来源于stack exchange，提问作者Robert