Go移植Java库时rune/int8数组与字符串互转一致性问题

这个问题的核心在于Go语言对字符串的UTF-8编码约束——Go的string本质是UTF-8编码的字节序列，当你直接把[]rune或[]int8转成字符串时，Go会自动对不符合UTF-8规范的内容进行修正（比如把无效字节替换成�，即U+FFFD），这就导致转回原数组时数据不一致。要保证转换前后完全一致，必须绕过UTF-8的自动处理，直接以原始字节序列的形式进行转换。

下面分两种情况给出具体实现：

1. int8数组 ↔ 字符串 #

int8是有符号字节（范围-128~127），对应的无符号字节是uint8（Go中byte是uint8的别名）。我们需要把int8数组转成原始字节数组，再封装成字符串；转回时则提取字符串的原始字节，再转成int8数组。

转换代码 #

// 将int8数组转换为字符串（完全可逆）
func Int8ArrayToString(arr []int8) string {
    bytes := make([]byte, len(arr))
    for idx, val := range arr {
        // 先转uint8避免符号位问题，再转byte
        bytes[idx] = byte(uint8(val))
    }
    return string(bytes)
}

// 将字符串转回int8数组（完全可逆）
func StringToInt8Array(s string) []int8 {
    byteSlice := []byte(s)
    arr := make([]int8, len(byteSlice))
    for idx, val := range byteSlice {
        // byte是uint8，直接转int8即可还原原始符号
        arr[idx] = int8(val)
    }
    return arr
}

原理说明 #

这里的关键是直接操作原始字节，没有经过UTF-8编码/解码步骤。字符串只是作为原始字节的容器，Go不会修改这些字节（即使它们不符合UTF-8规范），因此转换前后的int8数组完全一致。

2. rune数组 ↔ 字符串 #

rune是Go中表示Unicode码点的类型（本质是int32）。如果直接把[]rune转成字符串，Go会将每个rune编码为对应的UTF-8字节序列——但如果rune是无效的Unicode码点（比如单独的代理对、超过0x10FFFF的值），会被替换成�，导致数据丢失。

要保证完全可逆，我们需要把每个rune作为固定长度的字节序列（比如4字节，对应int32的长度）序列化，再封装成字符串；转回时反序列化即可。

转换代码 #

import "encoding/binary"

// 将rune数组转换为字符串（完全可逆）
func RuneArrayToString(arr []rune) string {
    // 每个rune占4字节，预分配足够的缓冲区
    buf := make([]byte, len(arr)*4)
    for idx, r := range arr {
        // 用小端序序列化rune（也可以用大端序，只要前后一致即可）
        binary.LittleEndian.PutUint32(buf[idx*4:], uint32(r))
    }
    return string(buf)
}

// 将字符串转回rune数组（完全可逆）
func StringToRuneArray(s string) []rune {
    byteSlice := []byte(s)
    // 验证长度是否合法（必须是4的倍数）
    if len(byteSlice)%4 != 0 {
        return nil // 可根据业务需求处理异常
    }
    arr := make([]rune, len(byteSlice)/4)
    for idx := 0; idx < len(arr); idx++ {
        // 反序列化回uint32，再转rune
        arr[idx] = rune(binary.LittleEndian.Uint32(byteSlice[idx*4:]))
    }
    return arr
}

原理说明 #

通过固定长度的二进制序列化，我们把每个rune的原始数值完整保存到字节数组中，再封装成字符串。整个过程不涉及UTF-8编码，因此无论rune是否是有效的Unicode码点，都能完整还原。

总结 #

只要避免依赖Go内置的[]rune(string)或string([]rune)这类涉及UTF-8处理的转换，转而直接操作原始字节或二进制序列化，就能保证rune/int8数组与字符串互转后完全一致，满足你维持字符串交互方式的需求。

内容的提问来源于stack exchange，提问作者André G. Andrade