XOR解码后UTF-8特殊字符处理与SQLite存储回显技术咨询

问题背景 #

从浏览器接收包含长破折号、弯引号的UTF-8格式JSON字符串，需要存入SQLite数据库并支持特殊字符检索，最终回传给浏览器。过程中出现两个核心问题：

• 特殊字符显示异常
• 字符串长度偏差，导致UI端修改操作对应文本位置错误

核心疑问 #

1. XOR解码后得到的整数组，是否需要先通过binary format cu*转换为二进制字符串，再用encoding convertfrom utf-8转成文本才能正确存入数据库？
2. 存库前用encoding convertfrom utf-8转码，取库后用encoding convertto utf-8转码再发浏览器的流程是否正确？明明浏览器发送的就是UTF-8，转码看似不合理，但却是当前唯一能让数据正常工作的方式。

现有代码 #

存储数据代码 #

set raw_decoded {}
foreach b $enc {
  append raw_decoded \
     "[expr {$b ^ [lindex $mKey [expr {[incr offset] % 4}]]}] "
}
if { $op == 1 } {
  append decoded [encoding convertfrom utf-8\
     [binary format cu* $raw_decoded]]
}

回传浏览器代码（$sock已配置为二进制模式） #

set response [encoding convertto utf-8 $response]
  set len [string length $response]
  if { $len > 65535 } {
    chan puts -nonewline $sock [binary format cu2Wu {129 127} $len]
  } elseif { $len > 125 } {
    chan puts -nonewline $sock [binary format cu2Su {129 126} $len]
  } elseif { $len > 0 } {
    chan puts -nonewline $sock [binary format cu2 [list 129 $len]]
  }
  chan puts -nonewline $sock $response
  chan flush $sock
}

解决方案与优化建议 #

1. XOR解码后的处理逻辑正确性 #

你的思路是对的：

• XOR解码得到的是UTF-8字节对应的整数值，必须用binary format cu*将整数组转为二进制字节串，这个字节串就是原始的UTF-8数据流
• 再通过encoding convertfrom utf-8将二进制字节串转为Tcl内部的Unicode字符串（Tcl内部用UCS-2/UTF-16存储字符串），这样存入SQLite时，数据库会自动按UTF-8格式存储文本（TEXT类型字段默认UTF-8编码），不会出现编码混乱

2. 存库与回传的转码逻辑合理性 #

这个流程是正确的，原因在于Tcl的编码模型：

• 存库时：Tcl内部字符串存入SQLite，数据库会自动转换为UTF-8存储，直接存入转后的内部字符串即可，无需额外操作
• 回传时：从SQLite取出的是Tcl内部字符串，必须用encoding convertto utf-8转成UTF-8字节流，再通过二进制socket发送——浏览器接收的是UTF-8字节流，而Tcl内部字符串是Unicode编码，转码是必要的，否则会出现字节不匹配的问题

3. 字符串长度偏差问题的修复 #

你遇到的长度偏差，核心是混淆了字符长度和字节长度：

• Tcl的string length返回的是字符数，而非UTF-8字节数
• 浏览器需要的是UTF-8字节流的长度，所以必须先转码为UTF-8字节串，再计算长度

修正后的回传代码：

set response_utf8 [encoding convertto utf-8 $response]
set len [string length $response_utf8] ;# 这里得到的是正确的UTF-8字节数
if { $len > 65535 } {
  chan puts -nonewline $sock [binary format cu2Wu {129 127} $len]
} elseif { $len > 125 } {
  chan puts -nonewline $sock [binary format cu2Su {129 126} $len]
} elseif { $len > 0 } {
  chan puts -nonewline $sock [binary format cu2 {129 $len}]
}
chan puts -nonewline $sock $response_utf8
chan flush $sock

4. 存储代码的效率优化 #

原来拼接raw_decoded字符串的方式容易出错，直接用列表收集整数更可靠：

set raw_decoded_list {}
set offset 0
foreach b $enc {
  lappend raw_decoded_list [expr {$b ^ [lindex $mKey [expr {$offset % 4}]]}]
  incr offset
}
if { $op == 1 } {
  append decoded [encoding convertfrom utf-8 [binary format cu* $raw_decoded_list]]
}

5. SQLite特殊字符检索注意事项 #

只要存入时是正确的Tcl内部字符串（即已完成encoding convertfrom utf-8转码），查询时直接使用Tcl字符串即可，SQLite会按UTF-8编码匹配，不会出现检索异常。

内容的提问来源于stack exchange，提问作者Gary