从Rust调用含希伯来字符的C函数出现编码乱码问题及解决咨询

问题根源 #

• Rust字符串默认采用UTF-8编码，CString::new会将其转换为以\0结尾的C兼容字节序列传递给C函数。
• Windows平台下，MSVC标准库的printf默认使用系统本地ANSI编码（希伯来语系统对应Windows-1255），而非UTF-8。当UTF-8字节被当作ANSI编码解析时，就会出现乱码。
• 同时，Windows控制台默认代码页通常不是UTF-8，进一步加剧了输出乱码的问题。

解决方法 #

方法1：改用宽字符（UTF-16）接口（推荐，跨语言兼容） #

修改C库代码，使用宽字符版本的函数和打印接口：

#include <wchar.h>
#include <stdio.h>

extern "C" void print_name(const wchar_t *name) {
    wprintf(L"C name %ls\n", name);
}

对应修改Rust代码，使用CwString将UTF-8字符串转为Windows兼容的UTF-16宽字符：

extern "C" {
    fn print_name(name: *const ::std::os::raw::wchar_t);
}

fn main() {
    let name = "עברית";
    println!("Rust name: {}", name);
    let c_name = std::ffi::CwString::new(name).unwrap();
    unsafe {
        print_name(c_name.as_ptr());
    }
}

编译命令保持不变，重新编译后即可正常输出。

方法2：在C代码中处理UTF-8转码或设置控制台编码 #

方案2.1：直接设置控制台为UTF-8编码

在C函数开头添加代码，强制控制台输出使用UTF-8代码页：

#include <cstdio>
#include <windows.h>

extern "C" void print_name(const char *name) {
    // 设置控制台输出代码页为UTF-8（65001）
    SetConsoleOutputCP(CP_UTF8);
    printf("C name %s\n", name);
}

Rust代码无需修改，编译运行后即可正确输出。

方案2.2：将UTF-8转码为宽字符后输出

如果需要兼容更旧的系统，可手动将UTF-8转为Windows原生的UTF-16宽字符再输出：

#include <cstdio>
#include <windows.h>
#include <wchar.h>
#include <stdlib.h>

extern "C" void print_name(const char *name) {
    // 计算所需宽字符长度
    int wchar_len = MultiByteToWideChar(CP_UTF8, 0, name, -1, NULL, 0);
    wchar_t *wide_name = (wchar_t*)malloc(wchar_len * sizeof(wchar_t));
    if (wide_name) {
        MultiByteToWideChar(CP_UTF8, 0, name, -1, wide_name, wchar_len);
        wprintf(L"C name %ls\n", wide_name);
        free(wide_name);
    }
}

方法3：临时设置控制台编码（仅适合手动运行场景） #

在PowerShell中先执行以下命令设置控制台为UTF-8编码，再运行程序：

chcp 65001
.\main.exe

此方法无需修改代码，但依赖运行环境的手动配置，不适合自动化部署场景。

原理说明 #

1. 编码体系差异：

   • Windows传统C函数（如printf）基于ANSI编码，这是一种单字节编码，不同语言版本的系统对应不同编码表（如希伯来语Windows-1255、中文GBK），无法兼容UTF-8的多字节编码。
   • Rust的字符串统一使用UTF-8，这是一种通用的Unicode编码方案，与Windows的ANSI编码不兼容，直接传递会导致字节解析错误。

2. 宽字符机制：

   • Windows提供了宽字符（wchar_t） 接口，对应UTF-16LE编码（Windows原生Unicode实现）。wprintf等宽字符函数会直接处理UTF-16字符串，控制台内部也以UTF-16处理字符，因此能正确显示非ASCII字符。
   • Rust的CwString负责将UTF-8字符串转换为UTF-16LE的宽字符序列，完美匹配Windows的宽字符接口。

3. 控制台代码页：

   • Windows控制台通过代码页（Code Page）决定如何解析输入输出的字节流。代码页65001对应UTF-8，设置后printf输出的UTF-8字节会被控制台正确解析为Unicode字符。

内容的提问来源于stack exchange，提问作者Jake