如何跨平台正确处理argv中的多语言文件名编码问题？

问题背景 #

当Windows使用简体中文GB18030编码时，argv采用GB18030编码，若文件名包含希腊文（如Ελληνική γλώσσα），会出现文件能成功打开但无法写入内容的异常；而使用UTF-8编码的Linux则无此问题。

存在问题的示例C++代码：

#include <fstream>

int main(int argc, const char* argv[]) {
  std::ofstream f(argv[1]); // 补全原代码遗漏的变量声明
  f << argv[2];
}

在msys2/mingw64环境编译后运行：

./test 'Ελληνική γλώσσα.txt' 'foobar'

程序无报错运行完毕，但文件为空，用Notepad3打开也无内容。

已知wmain、CommandLineToArgvW(GetCommandLineW(), ...)等Windows平台特定方法可解决，但需要更通用的跨平台方案。

跨平台解决方案 #

方案1：使用C++17 std::filesystem标准库 #

C++17引入的std::filesystem原生支持Unicode文件名，是跨平台的标准解决方案，无需依赖平台特定API。

修改后的代码：

#include <fstream>
#include <filesystem>
#include <string>

namespace fs = std::filesystem;

int main(int argc, const char* argv[]) {
    // 自动适配不同平台的编码转换
    fs::path file_path(argv[1]);
    std::ofstream f(file_path);
    if (f.is_open()) {
        f << argv[2];
    }
    return 0;
}

编译注意事项：

• Windows（MSYS2/MINGW64）：添加编译选项-std=c++17或更高版本，旧版编译器需额外加链接参数-lstdc++fs
• Linux：添加-std=c++17即可，现代编译器默认链接filesystem库

方案2：封装跨平台编码转换（兼容C++17之前版本） #

如果需要兼容更早的C++标准，可以封装一个编码转换函数，将命令行参数统一转换为UTF-8后再处理。

示例封装代码：

#include <fstream>
#include <string>
#ifdef _WIN32
#include <windows.h>
#include <codecvt>

// Windows下将GB18030编码转为UTF-8
std::string utf8_from_gb18030(const char* gb_str) {
    int wlen = MultiByteToWideChar(CP_ACP, 0, gb_str, -1, nullptr, 0);
    std::wstring wstr(wlen, 0);
    MultiByteToWideChar(CP_ACP, 0, gb_str, -1, &wstr[0], wlen);
    
    int utf8_len = WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);
    std::string utf8_str(utf8_len, 0);
    WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, &utf8_str[0], utf8_len, nullptr, nullptr);
    return utf8_str;
}
#else
// Linux下argv本身是UTF-8，直接返回原字符串
std::string utf8_from_gb18030(const char* str) {
    return std::string(str);
}
#endif

int main(int argc, const char* argv[]) {
    std::string utf8_path = utf8_from_gb18030(argv[1]);
    std::ofstream f(utf8_path);
    if (f.is_open()) {
        f << argv[2];
    }
    return 0;
}

问题根源说明 #

• Windows默认以系统编码（GB18030）传递argv，希腊文无法在GB18030中完整映射，导致文件名编码转换异常，系统容错机制允许打开文件，但实际写入时因路径问题失败。
• Linux下argv默认采用UTF-8编码，支持所有Unicode字符，因此无此问题。
• std::filesystem库在Windows内部会自动将路径转换为宽字符调用原生API，规避了编码不兼容问题。

内容的提问来源于stack exchange，提问作者RayAlto