RapidJson Writer未正确处理UTF16编码的德语重音字符

看起来你在使用RapidJSON的UTF-16 Writer生成包含Prüfung这类带重音的德语字符时遇到了编码问题，大概率是字符串长度传递或者编码验证环节出了问题，我来给你梳理下解决方案：

核心问题分析 #

你代码里的writerUTF16.String(name.c_str(), static_cast<SizeType...这里应该是没正确传递字符串的长度。RapidJSON的String方法对于UTF-16编码来说，需要的是UTF-16代码单元的数量，而std::wstring的size()返回的wchar_t数量刚好对应这个值（因为ü属于BMP字符集，单个wchar_t就能表示），所以只要正确传递这个长度就能解决问题。

修正后的完整代码 #

#include "rapidjson/document.h"
#include "rapidjson/writer.h"
#include "rapidjson/stringbuffer.h"
#include <iostream>
#include <string>
#include <windows.h> // Windows平台用于编码转换；Linux/macOS可替换为iconv相关函数

using namespace rapidjson;

typedef GenericDocument<UTF16<> > WDocument;
typedef GenericStringBuffer<UTF16<> > StringBufferW;

int main() {
    StringBufferW sb;
    Writer<StringBufferW, UTF16<> > writerUTF16(sb);

    std::wstring name = L"Prüfung";

    // 构建JSON对象
    writerUTF16.StartObject();
    writerUTF16.String(L"name");
    // 正确传递字符串指针和UTF-16代码单元长度
    writerUTF16.String(name.c_str(), static_cast<SizeType>(name.size()));
    writerUTF16.EndObject();

    // 可选：将UTF-16 JSON转换为UTF-8以便在终端查看（避免编码不匹配乱码）
    const wchar_t* utf16Json = sb.GetString();
    std::string utf8Json;
    
    // Windows平台编码转换示例
    int utf8Size = WideCharToMultiByte(CP_UTF8, 0, utf16Json, -1, nullptr, 0, nullptr, nullptr);
    if (utf8Size > 0) {
        utf8Json.resize(utf8Size - 1);
        WideCharToMultiByte(CP_UTF8, 0, utf16Json, -1, &utf8Json[0], utf8Size, nullptr, nullptr);
        std::cout << "生成的UTF-8格式JSON：" << utf8Json << std::endl;
    }

    return 0;
}

关键注意事项 #

• 长度传递要准确：不要省略长度参数，或者传递错误的数值。对于BMP范围内的字符（比如德语重音字符），std::wstring::size()就是正确的UTF-16代码单元数。
• 编码验证要到位：生成的UTF-16 JSON直接输出到终端可能会显示乱码，建议转换为UTF-8再验证内容是否正确。如果是Linux/macOS平台，可以用iconv相关函数替代WideCharToMultiByte。
• 确保RapidJSON版本最新：旧版本的RapidJSON可能存在UTF-16编码处理的bug，升级到最新稳定版能避免很多奇怪的问题。

额外排查步骤 #

如果还是有问题，可以检查：

• 确认std::wstring name = L"Prüfung"是否正确初始化，调试查看内存里的ü是否是UTF-16编码的0x00FC
• 验证生成的JSON结构是否合法，有没有语法错误导致解析时异常

内容的提问来源于stack exchange，提问作者user2906743