随机字节数组转UTF-8字符串再转回结果不一致的技术咨询

问题场景 #

生成20字节随机数组作为API调用的令牌，使用UTF-8编码转换为字符串后，再转回字节数组无法与原数组一致。

原代码 #

var rand = new Random();
string generateId(){
    byte[] bytes_buff = new byte[20];
    rand.NextBytes(bytes_buff);
    foreach (byte b in bytes_buff)
        Console.Write("{0, 5}", b);
    Console.WriteLine();
    string converted = System.Text.Encoding.UTF8.GetString(bytes_buff);
    foreach (char character in converted)
        Console.Write("{0, 5}", character);
    Console.WriteLine();
    byte[] recoded = System.Text.Encoding.UTF8.GetBytes(converted);
    foreach (byte b in recoded)
        Console.Write("{0, 5}", b);
    Console.WriteLine();
    return converted;
}

输出结果 #

162  108  161    7  212  200  169  171  205   89  240  122  194  173  223  253   57  148  125   76
    ?    l    ?        ?    ?    ?    ?    Y    ?    z    -    ?    ?    9    ?    }    L
  239  191  189  108  239  191  189    7  239  191  189  200  169  239  191  189  239  191  189   89  239  191  189  122  194  173  239  191  189  239  191  189   57  239  191  189  125   76

问题核心：大于127的字节经GetString()转换后变为替换字符?，转回字节时变成239 191 189，导致数据丢失。

问题解答 #

1. 为什么UTF-8不能用于这个场景？ #

UTF-8是字符编码标准，它的作用是将Unicode字符转换为字节序列，而非将任意字节序列无损转换为字符串。当遇到不符合UTF-8编码规则的字节（比如单个大于127的字节，因为UTF-8中大于127的字节必须是多字节序列的一部分），.NET会自动将其替换为替换字符（U+FFFD），也就是你看到的?。这个替换是不可逆的，所以再转回字节数组时，原数据已经丢失。

UTF-8确实是互联网通用的字符编码，但它不是用来做二进制数据到字符串的通用转换工具。

2. 正确的解决方案：使用Base64编码 #

Base64是专门用于将二进制数据转换为可安全传输的字符串的标准方案，它能实现字节数组和字符串的无损互转，且生成的字符串仅包含安全的ASCII字符。

修改后的代码示例：

var rand = new Random();
string generateId(){
    byte[] bytes_buff = new byte[20];
    rand.NextBytes(bytes_buff);
    // 使用Base64将字节数组转字符串
    string converted = Convert.ToBase64String(bytes_buff);
    Console.WriteLine("Base64令牌: " + converted);
    // 还原字节数组
    byte[] recoded = Convert.FromBase64String(converted);
    // 验证还原是否一致
    bool isSame = bytes_buff.SequenceEqual(recoded);
    Console.WriteLine("还原后与原数组是否一致: " + isSame);
    return converted;
}

3. URL安全的令牌：Base64Url编码 #

如果令牌需要直接放在URL参数或HTTP头中，Base64的+和/字符可能会引发问题（因为它们在URL中有特殊含义）。这时可以使用Base64Url编码：

• 将Base64中的+替换为-
• 将/替换为_
• 去掉末尾的填充字符=

还原时只需反向替换即可：

// Base64转Base64Url
string base64UrlToken = converted.Replace('+', '-').Replace('/', '_').TrimEnd('=');
// Base64Url转回Base64
string base64Token = base64UrlToken.Replace('-', '+').Replace('_', '/');
// 补全填充字符（如果需要）
switch (base64Token.Length % 4)
{
    case 2: base64Token += "=="; break;
    case 3: base64Token += "="; break;
}
byte[] recoded = Convert.FromBase64String(base64Token);

4. 令牌可用的字符范围 #

• Base64：包含A-Z、a-z、0-9、+、/，可选末尾填充字符=
• Base64Url：包含A-Z、a-z、0-9、-、_，无填充字符
• 十六进制（Hex）：包含0-9、a-f（或A-F），但生成的字符串长度是原字节数组的2倍，令牌会更长，通常不如Base64高效

内容的提问来源于stack exchange，提问作者Ali Ahmadi