C++20 char8_t与UTF-8：如何安全转换至const char* API避免未定义行为？

核心转换规则（Tom Honermann 指出） #

• 合法转换：reinterpret_cast<const char*>(u8"text") 是标准允许的定义行为。因为 char8_t 是无符号8位类型，无论 char 是有符号还是无符号，两者的对象表示兼容，这种转换符合类型别名规则。
• 未定义行为：reinterpret_cast<const char8_t*>("text") 绝对不能用。如果 char 是有符号类型，其对象表示可能包含 char8_t 不允许的陷阱值，且标准不允许这种反向的别名转换。

你的转换函数问题 #

你写的 std::u8string convert(std::string str) 函数，直接用 reinterpret_cast 把 char* 转 char8_t*，属于上述的未定义行为场景，必须修正。

与旧API交互的推荐方案 #

1. std::u8string → const char*（适配接受UTF-8 char*的API） #

直接使用合法的正向转换：

const char* c_str = reinterpret_cast<const char*>(u8_str.data());

这个转换是安全的，可以直接传给只接受 const char* 的UTF-8接口。

2. std::u8string → wchar_t*（适配Win32 API） #

Win32 API 通常要求宽字符（wchar_t*），可以分两步处理：

1. 先把 std::u8string 转成 const char*（用上面的合法转换）；
2. 调用 Win32 的 MultiByteToWideChar 函数，指定 CP_UTF8 编码，将UTF-8字节流转换为宽字符串：

std::wstring u8_to_wide(const std::u8string& u8_str) {
    int wide_len = MultiByteToWideChar(CP_UTF8, 0,
        reinterpret_cast<const char*>(u8_str.data()),
        static_cast<int>(u8_str.size()),
        nullptr, 0);
    std::wstring wide_str(wide_len, L'\0');
    MultiByteToWideChar(CP_UTF8, 0,
        reinterpret_cast<const char*>(u8_str.data()),
        static_cast<int>(u8_str.size()),
        wide_str.data(), wide_len);
    return wide_str;
}

得到的 std::wstring 就可以直接传给Win32 API。

3. std::string → std::u8string（安全转换） #

如果必须从普通 std::string 转 std::u8string，绝对不能用 reinterpret_cast，推荐两种安全方式：

• C++20+ 用 std::bit_cast：

std::u8string convert(const std::string& str) {
    return std::u8string(std::bit_cast<const char8_t*>(str.data()), str.size());
}

bit_cast 是类型安全的字节复制，只要 char 和 char8_t 大小相同（都是1字节），就完全合法。

• 逐字节手动转换：

std::u8string convert(const std::string& str) {
    std::u8string result;
    result.reserve(str.size());
    for (unsigned char c : str) { // 先转unsigned char避免有符号扩展
        result.push_back(static_cast<char8_t>(c));
    }
    return result;
}

这种方式兼容性更好，所有C++版本都能用，且完全符合标准。

是否要放弃char8_t？ #

不推荐。char8_t 是C++20为UTF-8字符串专门设计的类型，能明确标记字符串的编码属性，提升代码的可读性和类型安全性，避免和其他编码的char字符串混淆。只要遵循正确的转换规则，完全可以和旧API安全交互。

内容的提问来源于stack exchange，提问作者schorsch_76