Mac OS X 64位C++下UTF-32LE转UTF-16LE的iconv异常问题

看起来你遇到了几个iconv使用的典型坑，加上Mac平台的字符编码特性导致的异常，我来帮你拆解问题并给出修复方案：

问题根源分析 #

1. Mac平台wchar_t的字节序不匹配
   Mac OS X的wchar_t是4字节类型，默认采用大端字节序（UTF-32BE），但你指定的源编码是UTF-32LE，这会让iconv无法正确解析源字符串数据，直接导致转换异常。

2. iconv参数的错误使用

   • 你直接把std::wstring::c_str()的const指针强制转换为可修改指针传给iconv，虽然iconv只是移动指针位置不修改内容，但这种const_cast是不安全的，还会导致调试时的混淆。
   • 目标缓冲区大小预留不足：虽然测试字符串是ASCII字符（每个UTF-32转1个UTF-16），但对于包含代理对的字符（比如emoji），每个UTF-32字符需要2个UTF-16字符，初始大小必须预留足够空间。
   • 错误的errno检查时机：iconv只有在返回(size_t)-1时才会设置errno，你当前不管转换是否成功都输出errno，会拿到之前的残留错误值，导致误判。

3. iconv_open返回值未检查
   你没有确认iconv_open是否成功，要是编码不支持（比如拼写错误），后续的iconv调用肯定会出问题。

修正后的代码 #

#include <iostream>
#include <wchar.h>
#include <iconv.h>
#include <errno.h>
#include <cstring>

// Mac OS X上的UniChar是2字节的UTF-16类型
int main() {
    std::wstring source(L"My Source string to convert!");
    size_t sourceCharCount = source.length();
    
    // 1. 创建源数据的可修改副本，避免const_cast风险
    size_t sourceByteSize = sizeof(wchar_t) * sourceCharCount;
    wchar_t* sourceBuffer = new wchar_t[sourceCharCount + 1];
    std::memcpy(sourceBuffer, source.c_str(), sourceByteSize);
    char* sourcePtr = reinterpret_cast<char*>(sourceBuffer);
    size_t remainingSourceBytes = sourceByteSize;

    // 2. 目标缓冲区：预留2倍源字符数空间兼容代理对，加1用于空终止符
    size_t destBufferSize = sourceCharCount * 2 + 1;
    UniChar* destination = new UniChar[destBufferSize];
    char* destPtr = reinterpret_cast<char*>(destination);
    size_t remainingDestBytes = sizeof(UniChar) * destBufferSize;

    // 3. 匹配Mac平台wchar_t的UTF-32BE编码
    static const char* destinationEncoding = "UTF-16LE";
    static const char* sourceEncoding = "UTF-32BE"; // 修正源编码

    // 4. 检查iconv_open是否成功
    iconv_t theHandle = iconv_open(destinationEncoding, sourceEncoding);
    if (theHandle == reinterpret_cast<iconv_t>(-1)) {
        std::cerr << "iconv_open failed: errno = " << errno << std::endl;
        if (errno == EINVAL) {
            std::cerr << "Unsupported encoding pair" << std::endl;
        }
        delete[] sourceBuffer;
        delete[] destination;
        return 1;
    }

    // 5. 执行转换，仅在失败时检查errno
    errno = 0; // 清空errno避免残留值干扰
    size_t convertedSize = iconv(theHandle, &sourcePtr, &remainingSourceBytes, &destPtr, &remainingDestBytes);
    if (convertedSize == static_cast<size_t>(-1)) {
        std::cerr << "iconv failed: errno = " << errno << std::endl;
        if (errno == E2BIG) std::cerr << "Destination buffer too small" << std::endl;
        if (errno == EILSEQ) std::cerr << "Invalid byte sequence" << std::endl;
        if (errno == EINVAL) std::cerr << "Incomplete byte sequence" << std::endl;
    } else {
        // 转换成功，添加空终止符
        size_t convertedChars = (sizeof(UniChar)*destBufferSize - remainingDestBytes)/sizeof(UniChar);
        destination[convertedChars] = 0;
        std::wcout << "Converted string: " << reinterpret_cast<wchar_t*>(destination) << std::endl;
    }

    // 6. 清理资源
    iconv_close(theHandle);
    delete[] sourceBuffer;
    delete[] destination;

    return 0;
}

关键修复点说明 #

• 源编码修正：将UTF-32LE改为UTF-32BE，匹配Mac OS X上wchar_t的字节序。
• 可修改源缓冲区：复制std::wstring内容到独立缓冲区，避免const_cast的潜在风险。
• 目标缓冲区扩容：预留2倍源字符数空间，确保能容纳代理对转换后的结果。
• 正确错误检查：仅在iconv_open或iconv返回失败时检查errno，提前清空errno避免干扰。
• 资源安全清理：确保动态分配的缓冲区和iconv句柄都被正确释放/关闭。

额外注意事项 #

如果你的源数据确实是UTF-32LE（比如从小端平台读取），不能直接用std::wstring的内容，需要先把源数据的字节序转换为大端，再进行iconv转换。也可以考虑使用Core Foundation的CFString相关转换函数，更安全地处理跨平台编码问题。

内容的提问来源于stack exchange，提问作者Rudi Bartels