类中std::string传递至Python时土耳其字符损坏问题求助

问题现象 #

在C++编写的Python扩展中：

• 从全局静态std::vector<std::pair<std::string, std::string>> localeTexts或类成员LocaleTextList::test_title读取带土耳其特殊字符（如İ、Ğ、Ş、Ü）的字符串，通过Py_BuildValue("s", pair.second.c_str())传递给Python时，字符出现损坏乱码。
• 但在GetLocaleText函数内部直接定义同内容的std::string并传递时，字符显示完全正常。
• 尝试给全局字符串字面量添加u8前缀后，乱码问题反而更加严重。

原因分析 #

1. 编码不匹配：
   • Py_BuildValue("s")会将传入的char*视为系统默认编码（Windows下通常是GBK/GB2312，Linux/macOS是UTF-8）的字符串，Python会用该编码解码为Unicode。
   • 全局静态/类成员的字符串字面量在编译阶段就被编码存储，其编码由编译器的源字符集和执行字符集参数决定；而函数内的局部字符串字面量，可能因编译器的运行时处理逻辑不同，恰好匹配了Python预期的系统编码，所以显示正常。
2. u8前缀的误区：
   • 添加u8前缀后，字符串会被编译为UTF-8编码的字节序列，但Py_BuildValue("s")仍会用系统默认编码（如Windows的GBK）去解析这些字节，导致UTF-8字节被错误解码，乱码更严重。

解决方案 #

方案1：显式传递UTF-8编码字符串给Python #

直接使用Python的Unicode创建API，明确告诉Python传入的是UTF-8编码的字节，避免依赖系统默认编码：

修改GetLocaleText函数中的返回逻辑：

PyObject* GetLocaleText(PyObject* poSelf, PyObject* poArgs)
{
    char* arg;

    if (!PyTuple_GetString(poArgs, 0, &arg))
        return Py_BuildException();

    for (const auto& pair : localeTexts)
    {
        if (pair.first == arg)
        {
            // 显式基于UTF-8字节创建Python Unicode字符串
            return PyUnicode_FromUTF8(pair.second.c_str());
        }
    }
    return Py_BuildNone();
}

同时确保全局字符串字面量是UTF-8编码，添加u8前缀：

const static std::vector<std::pair<std::string, std::string>> localeTexts =
{
    { u8"TEST_TITLE", u8"İĞŞÜ" },
};

class LocaleTextList
{
public:
    std::string test_title = u8"Türkçe karakterler: ÇĞİÖŞÜ";
};

方案2：统一编译器的字符集设置 #

在Visual Studio中，设置编译器将源文件和执行时的字符串统一编码为UTF-8：

1. 打开项目属性 -> 配置属性 -> C/C++ -> 所有选项
2. 将源字符集和执行字符集都设置为UTF-8
   这样所有字符串字面量都会被编译为UTF-8字节序列，配合方案1的PyUnicode_FromUTF8使用，就能彻底解决编码不匹配问题。

方案3：兼容系统编码的兜底处理 #

如果需要兼容不同系统的默认编码，可以先将std::string转换为系统默认编码，再传递给Py_BuildValue("s")，但这种方式不如方案1可靠，推荐优先使用UTF-8统一编码的方案。

内容的提问来源于stack exchange，提问作者cvaqabond