C++中UTF-8与希伯来文字符串相等性识别问题求助

针对希伯来文这类非ASCII字符的字符串相等判断失败，核心原因是编码不统一或窄字符串的字节序列不匹配，以下是具体解决思路：

1. 统一字符串编码与类型 #

非ASCII字符不能依赖std::string的默认本地编码（比如Windows的CP1255），必须统一为UTF-8（窄字符串）或UTF-16（宽字符串）：

• 若选UTF-8：确保文本文件和聊天数据包的字符串都以UTF-8编码存储/传输；
• 若选UTF-16：统一使用std::wstring替代std::string，避免多字节字节序列的歧义。

2. 修正文本文件的读取逻辑 #

读取希伯来文文本文件时，必须明确指定UTF-8编码，避免系统默认编码导致乱码：

// 示例：以UTF-8编码读取文本文件到std::string
std::ifstream file("sentences.txt", std::ios::binary);
std::string file_content((std::istreambuf_iterator<char>(file)), std::istreambuf_iterator<char>());
// 若文件带UTF-8 BOM，需跳过前3字节
if (!file_content.empty() && file_content[0] == '\xEF' && file_content[1] == '\xBB' && file_content[2] == '\xBF') {
    file_content = file_content.substr(3);
}

3. 对齐聊天数据包的编码 #

确认lpMsg->message的编码格式（比如UTF-8、UTF-16），转换为与文件一致的编码：

• 若数据包是UTF-16（宽字符），转换为UTF-8窄字符串（Windows平台示例）：

std::wstring ws_msg = lpMsg->message; // 假设lpMsg->message是wchar_t*
int utf8_len = WideCharToMultiByte(CP_UTF8, 0, ws_msg.c_str(), -1, nullptr, 0, nullptr, nullptr);
std::string s(utf8_len, 0);
WideCharToMultiByte(CP_UTF8, 0, ws_msg.c_str(), -1, &s[0], utf8_len, nullptr, nullptr);

4. 修正字符串长度计算逻辑 #

strlen仅适用于单字节ASCII字符串，处理多字节UTF-8时虽能获取字节数，但需确保源数据的长度传递正确：

• 若gSentenceEvent.RandomSentence是UTF-8编码的char*，直接用strlen没问题；如果是宽字符，必须用wcslen；
• 避免手动计算长度，直接使用字符串构造函数或赋值：

// 修正后的字符串赋值逻辑（假设RandomSentence是UTF-8的char*）
std::string str(gSentenceEvent.RandomSentence); // 直接构造，无需手动计算长度

修正后的完整代码示例 #

if(gSentenceEvent.IsRunning())
{
    // 确保聊天数据包转换为UTF-8编码
    std::wstring ws_msg = lpMsg->message;
    int utf8_len = WideCharToMultiByte(CP_UTF8, 0, ws_msg.c_str(), -1, nullptr, 0, nullptr, nullptr);
    std::string s(utf8_len, 0);
    WideCharToMultiByte(CP_UTF8, 0, ws_msg.c_str(), -1, &s[0], utf8_len, nullptr, nullptr);

    // 确保文本文件读取的是UTF-8编码的字符串
    std::string str(gSentenceEvent.RandomSentence);

    if (str == s) // 直接用==比较，无需调用compare
    {
        gSentenceEvent.SetRunning(false);
        gNotice.GCNoticeSendToAll(0,0,0,0,0,0,gMessage.GetMessage(1130));
        gNotice.GCNoticeSendToAll(0,0,0,0,0,0,gMessage.GetMessage(1127),lpObj->Name);
    }
    else
    {
        gNotice.GCNoticeSendToAll(0,0,0,0,0,0,"%s Try %s\n",lpObj->Name,s.c_str());
        gNotice.GCNoticeSendToAll(0,0,0,0,0,0,"Answer Is %s\n",str.c_str());
    }
}

内容的提问来源于stack exchange，提问作者Liron Elkayam