如何无需类型转换将含Unicode字符的文件数据读入UChar向量

嘿，这个问题我之前处理Unicode文件的时候也纠结过——reinterpret_cast总给人一种“擦边球”的感觉，尤其是涉及到字符编码这种需要严格字节对齐的场景。下面给你几个完全不需要类型转换的靠谱方案，直接把文件内容读进UChar向量：

方案1：用std::basic_ifstream直接读取 #

既然UChar本质是一种固定大小的字符类型（比如ICU库的UChar就是16位无符号整数），我们可以直接利用C++标准库的模板特性，用std::basic_ifstream<UChar>来打开文件，全程跳过中间的char向量，直接读入UChar容器：

#include <fstream>
#include <vector>
#include <unicode/umachine.h> // 如果你用的是ICU的UChar

std::vector<UChar> read_uchar_file(const std::string& filename) {
    // 以二进制模式打开，避免文本模式的换行符转换破坏字节流
    std::basic_ifstream<UChar> infile(filename, std::ios::binary);
    if (!infile.is_open()) {
        throw std::runtime_error("Failed to open target file");
    }

    // 用流迭代器直接构造UChar向量，全程无类型转换
    return std::vector<UChar>(
        std::istreambuf_iterator<UChar>(infile),
        std::istreambuf_iterator<UChar>()
    );
}

这种方式完全遵循类型安全原则，编译器会帮我们处理所有的字节读取逻辑，没有任何强制类型转换的风险。

方案2：预分配空间后直接读取 #

如果你更习惯手动管理内存分配，可以先获取文件大小，预分配UChar向量的空间，再直接读取数据：

#include <fstream>
#include <vector>
#include <unicode/umachine.h>

std::vector<UChar> read_uchar_file(const std::string& filename) {
    std::basic_ifstream<UChar> infile(filename, std::ios::binary | std::ios::ate);
    if (!infile.is_open()) {
        throw std::runtime_error("Failed to open target file");
    }

    // 获取文件大小（这里的单位是UChar的数量，因为我们用的是basic_ifstream<UChar>）
    std::streampos file_size = infile.tellg();
    std::vector<UChar> buffer(static_cast<size_t>(file_size));

    // 回到文件开头，直接读取到向量的底层数组
    infile.seekg(0);
    infile.read(buffer.data(), static_cast<std::streamsize>(buffer.size()));

    return buffer;
}

这里buffer.data()返回的是UChar*，正好匹配read方法的参数类型，全程不需要任何类型转换。

关键注意事项 #

• 二进制模式必须开启：如果用文本模式打开，系统会自动转换换行符（比如Windows下的\r\n转成\n），这会破坏Unicode字节流的完整性，导致读取的UChar数据错乱。
• 编码匹配：确保文件的编码和UChar的类型一致——比如ICU的UChar对应UTF-16编码，那文件必须是UTF-16格式（带BOM或不带，取决于你的业务场景），否则读取后的数据会是乱码。
• 处理不完整的字节：如果文件的总字节数不能被sizeof(UChar)整除（比如最后只剩1个字节，但UChar是2字节），上面的代码会忽略这部分字节。你需要根据实际需求处理这种情况——比如抛出错误、填充默认值，或者用额外的逻辑处理剩余字节。

内容的提问来源于stack exchange，提问作者ASbggh