R语言strwrap函数为何转字符为字节序列？如何还原？

问题解答 #

1. 还原转换后的序列 #

可以通过解析十六进制字节并解码的方式还原，示例代码如下：

restore_chars <- function(x) {
  # 提取所有<xx>格式的十六进制字节
  byte_matches <- regmatches(x, gregexpr("<([0-9a-fA-F]{2})>", x))[[1]]
  bytes <- sub("<|>", "", byte_matches)
  # 转换为raw字节并解码为UTF-8字符
  decoded <- rawToChar(as.raw(strtoi(bytes, base = 16)))
  # 移除字节序列标记，拼接解码后的字符与剩余普通文本
  plain_text <- gsub("<[0-9a-fA-F]{2}>", "", x)
  paste0(decoded, plain_text)
}

# 应用还原函数
wrapped_str <- strwrap(s, 5)
sapply(wrapped_str, restore_chars)

运行后即可得到与原始字符一致的结果。

2. 问题出现的原因 #

strwrap()的底层实现对UTF-8多字节字符的边界处理存在缺陷：当设置的换行宽度（示例中为5）刚好落在多字节字符（比如‘是3字节UTF-8字符）的字节中间时，函数无法识别完整的字符单元，会将被切割的单个字节以<xx>的形式转义显示，这是它处理不完整UTF-8字节的一种妥协方式。

而stringi::stri_wrap()基于ICU Unicode处理库开发，能够准确识别UTF-8字符的完整边界，会自动调整换行位置避免切割多字节字符，因此不会出现此类问题。

内容的提问来源于stack exchange，提问作者nsa