gcc启用-fshort-wchar时，wchar_t转char无法用wcstombs的解决方法

为什么标准wcstombs无法使用 #

当使用-fshort-wchar编译时，GCC会将wchar_t的大小从默认的32位改为16位（通常对应unsigned short类型）。而标准库的wcstombs函数是基于32位wchar_t实现的，直接调用会导致编译错误或运行时行为异常，因此无法依赖这个标准函数。

手动实现UTF-16到UTF-8的转换 #

由于-fshort-wchar下的wchar_t通常存储的是UTF-16编码的字符，我们可以手动实现UTF-16到UTF-8的转换逻辑，具体如下：

核心逻辑 #

1. 遍历输入的wchar_t数组，逐个处理每个16位编码单元：
   • BMP字符：编码值在0x0000_{`0xD7FF`或`0xE000`}0xFFFF范围内，直接转换为对应的UTF-8字节序列。
   • 代理对字符：若遇到高代理项（0xD800_{`0xDBFF`），需读取下一个低代理项（`0xDC00`}0xDFFF），组合成完整的Unicode码点后再转换为UTF-8。

代码示例 #

#include <stdint.h>
#include <string.h>

// 将UTF-16的wchar_t数组转换为UTF-8的char数组
// 参数：
//   dest: 输出缓冲区，需提前分配足够空间
//   dest_size: 输出缓冲区的字节大小
//   src: 输入的wchar_t数组（UTF-16编码）
//   src_len: 输入数组的元素个数（不含末尾的\0）
// 返回值：成功转换的字节数（不含末尾的\0），失败返回-1
int utf16_to_utf8(char *dest, size_t dest_size, const wchar_t *src, size_t src_len) {
    size_t dest_idx = 0;
    size_t src_idx = 0;

    while (src_idx < src_len) {
        uint16_t code = (uint16_t)src[src_idx];
        src_idx++;

        // 处理BMP字符
        if (code < 0xD800 || (code >= 0xE000 && code <= 0xFFFF)) {
            if (code <= 0x7F) {
                // 1字节UTF-8
                if (dest_idx + 1 >= dest_size) return -1;
                dest[dest_idx++] = (char)code;
            } else if (code <= 0x7FF) {
                // 2字节UTF-8
                if (dest_idx + 2 >= dest_size) return -1;
                dest[dest_idx++] = 0xC0 | (code >> 6);
                dest[dest_idx++] = 0x80 | (code & 0x3F);
            } else {
                // 3字节UTF-8
                if (dest_idx + 3 >= dest_size) return -1;
                dest[dest_idx++] = 0xE0 | (code >> 12);
                dest[dest_idx++] = 0x80 | ((code >> 6) & 0x3F);
                dest[dest_idx++] = 0x80 | (code & 0x3F);
            }
        } 
        // 处理代理对
        else if (code >= 0xD800 && code <= 0xDBFF) {
            // 检查是否有足够的后续代理项
            if (src_idx >= src_len) return -1;
            uint16_t low_surrogate = (uint16_t)src[src_idx];
            src_idx++;
            if (low_surrogate < 0xDC00 || low_surrogate > 0xDFFF) return -1;

            // 计算完整的Unicode码点
            uint32_t codepoint = ((code - 0xD800) << 10) + (low_surrogate - 0xDC00) + 0x10000;

            // 转换为4字节UTF-8
            if (dest_idx + 4 >= dest_size) return -1;
            dest[dest_idx++] = 0xF0 | (codepoint >> 18);
            dest[dest_idx++] = 0x80 | ((codepoint >> 12) & 0x3F);
            dest[dest_idx++] = 0x80 | ((codepoint >> 6) & 0x3F);
            dest[dest_idx++] = 0x80 | (codepoint & 0x3F);
        } 
        // 无效的UTF-16编码
        else {
            return -1;
        }
    }

    // 添加字符串结束符
    if (dest_idx < dest_size) {
        dest[dest_idx] = '\0';
    } else {
        return -1;
    }

    return dest_idx;
}

使用说明 #

• 调用前需确保输出缓冲区dest的大小足够：UTF-16转UTF-8时，每个码点最多占用4字节，因此缓冲区大小至少为src_len * 4 + 1（+1用于存储结束符）。
• 若输入的wchar_t数组是以\0结尾的字符串，可以通过wcslen(src)获取src_len。
• 函数会处理无效的UTF-16编码（如孤立的代理项），此时返回-1，你可以根据需求调整错误处理逻辑。

其他可选方案 #

如果项目中已经引入了ICU（International Components for Unicode）库，可以直接使用ICU提供的u_strToUTF8函数，它支持16位宽字符的转换，无需担心-fshort-wchar的影响。

内容的提问来源于stack exchange，提问作者Irbis