C++20中写入UTF-8 BOM的代码兼容问题求助

问题背景 #

这段代码在C++14/17中可正常运行：

#include <string>
#include <fstream>
int main()
{
    std::string BOM = u8"\uFEFF";  // C2440
    std::ofstream f("utf8.txt");
    f << BOM;
}

切换至C20后会触发C2440编译错误——原因是C20对UTF-8字符串字面量做了破坏性变更：u8""字面量的类型从const char[]变为const char8_t[]，无法再隐式转换为std::string。

MSDN建议的reinterpret_cast方案并不适用，因为无法直接转换到std::string：

std::string BOM = reinterpret_cast<std::string> (u8"\uFEFF"); // 非法写法

改用std::u8string虽能解决BOM的定义问题，但标准输出流std::ofstream未重载<<运算符支持std::u8string，会触发C2679错误：

#include <string>
#include <fstream>
int main()
{
    std::u8string BOM = u8"\uFEFF";  // 定义正常
    std::ofstream f("utf8.txt");
    f << BOM;                        // C2679: 无匹配的<<运算符
}

我们需要一种无需直接硬编码0xEF 0xBB 0xBF字节、保留\uFEFF编码可读性的解决方案。

可行解决方案 #

方案1：通过char8_t数组构造std::string #

利用std::string的构造函数，将char8_t数组的字节内容直接传入，同时明确指定长度：

#include <string>
#include <fstream>
int main()
{
    const char8_t* bom = u8"\uFEFF";
    std::string BOM(reinterpret_cast<const char*>(bom), sizeof(u8"\uFEFF") - 1);
    std::ofstream f("utf8.txt");
    f << BOM;
}

这里通过reinterpret_cast<const char*>把char8_t指针转为char指针，结合字符串字面量的长度（减去末尾空字符）构造std::string，既保留\uFEFF的可读性，又符合C++20类型规则。

方案2：直接写入char8_t数组到输出流 #

跳过字符串类型的中间存储，直接用write方法写入原始字节：

#include <fstream>
int main()
{
    std::ofstream f("utf8.txt");
    const char8_t* bom = u8"\uFEFF";
    f.write(reinterpret_cast<const char*>(bom), sizeof(u8"\uFEFF") - 1);
}

这种方式更简洁，避免了字符串类型转换的额外开销。

方案3：自定义std::u8string的输出运算符 #

如果需要频繁输出std::u8string，可以全局重载<<运算符：

#include <string>
#include <fstream>

std::ostream& operator<<(std::ostream& os, const std::u8string& str)
{
    return os.write(reinterpret_cast<const char*>(str.data()), str.size());
}

int main()
{
    std::u8string BOM = u8"\uFEFF";
    std::ofstream f("utf8.txt");
    f << BOM; // 可正常编译运行
}

重载后，所有std::ostream派生类（如std::ofstream、std::cout）都能直接输出std::u8string。

内容的提问来源于stack exchange，提问作者Thomas W.