关于OpenSSL SHA-256哈希存储至UTF-16字段的跨平台问题咨询

你的核心误区是把二进制哈希数据直接塞进UTF-16字符字段，这既不符合UTF-16的编码规范，也会因字节序（端序）问题导致跨机器数据混乱。以下是具体的解决思路和方案：

方案1：改用数据库二进制字段存储（最优选择） #

直接放弃用UTF-16字符字段存哈希，改用数据库原生的二进制类型，从根源上避免编码和端序问题：

• 数据库对应类型：MySQL用BINARY(32)/VARBINARY(32)，PostgreSQL用BYTEA，SQL Server用VARBINARY(32)，刚好匹配SHA-256的32字节长度。
• C代码处理：直接操作OpenSSL生成的二进制哈希数组，无需转char16_t，读写时绑定二进制参数即可。
  示例代码片段（以MySQL Connector/C为例）：

  #include <openssl/sha.h>
  
  unsigned char sha256_hash[SHA256_DIGEST_LENGTH];
  // 假设已通过OpenSSL计算得到哈希值存入sha256_hash
  // 写入数据库时绑定二进制参数
  stmt->setBinary(1, sha256_hash, SHA256_DIGEST_LENGTH);
  

方案2：将哈希转为文本格式存入字符字段（兼容现有字段） #

如果必须保留UTF-16字符字段，不要直接存二进制，先把哈希转成合法的文本格式再编码为UTF-16：

1. 转十六进制字符串：32字节的SHA-256哈希可转为64个十六进制字符（0-9、a-f/A-F），所有字符都是合法的UTF-16码点，不会出现无效编码问题。
2. 转UTF-16编码：将ASCII十六进制字符串通过标准库或第三方工具转成char16_t类型的UTF-16字符串，保证跨机器转码规则一致（比如统一用UTF-16LE或UTF-16BE，数据库通常会指定编码端序）。
   示例代码片段：

   #include <sstream>
   #include <iomanip>
   #include <codecvt>
   #include <openssl/sha.h>
   
   // 二进制哈希转十六进制字符串
   std::string hash_to_hex(const unsigned char* hash, size_t len) {
       std::ostringstream oss;
       oss << std::hex << std::setfill('0');
       for (size_t i = 0; i < len; ++i) {
           oss << std::setw(2) << static_cast<int>(hash[i]);
       }
       return oss.str();
   }
   
   // 十六进制字符串转UTF-16
   std::u16string hex_to_utf16(const std::string& hex_str) {
       std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> converter;
       return converter.from_bytes(hex_str);
   }
   
   // 使用示例
   unsigned char sha256_hash[SHA256_DIGEST_LENGTH];
   // 计算哈希...
   std::string hex_str = hash_to_hex(sha256_hash, SHA256_DIGEST_LENGTH);
   std::u16string utf16_hash = hex_to_utf16(hex_str);
   // 此时utf16_hash可安全存入UTF-16字段
   

为什么原方法不可行？ #

• 无效UTF-16码点：二进制哈希可能包含单独的代理项、未定义码点等非法UTF-16数据，数据库会拒绝存储或自动替换为损坏字符（�），导致哈希失效。
• 字节序混乱：不同平台的char16_t字节序不同（x86为小端，PowerPC为大端），直接memcpy二进制数据会导致跨机器读取时哈希值完全错误。

内容的提问来源于stack exchange，提问作者кирилл величко