MSVC编译C程序读取非系统编码文件崩溃的原因与解决

崩溃原因 #

你的C代码崩溃的核心原因是：用窄字符IO函数操作了宽字符模式的文件流。

当在MSVC中使用fopen("example_utf-8.txt", "rt+, ccs=UTF-8")时，该调用会将文件流初始化为宽字符流（底层基于UTF-16编码），而非预期的窄字节UTF-8流。但后续你使用了fscanf、fprintf这类窄字符版本的IO函数，违反了MSVC的stdio流类型校验规则，触发了_VALIDATE_STREAM_ANSI_RETURN断言，导致程序崩溃。

对MSVC文档的误解 #

你误解了ccs参数的作用：MSVC的ccs参数用于指定文件编码的同时，会改变流的类型——指定ccs=UTF-8时，流会被设置为宽字符模式（对应wchar_t操作），而非让流以窄字节UTF-8方式工作。窄字符流默认使用当前区域设置的编码，无法通过ccs直接指定为UTF-8。

修复后的C代码 #

有两种可行的修复方案：

方案1：使用宽字符IO函数适配宽字符流 #

直接使用宽字符版本的IO函数，配合wchar_t缓冲区，让流的操作和类型匹配：

#include <stdio.h>
#include <stdlib.h>
#include <locale.h>
#include <wchar.h>

void copyTextFiles(FILE* in, FILE* out)
{
    wchar_t buff[1024];
    // 使用宽字符版本的fscanf，格式符前加L
    while(fwscanf(in, L"%1023[^\n]%*[\n]", buff) == 1) {
        // 使用宽字符版本的fprintf
        fwprintf(out, L"%s\n", buff);
    }
}

int main(int argc, char* argv[])
{
    char * l = setlocale(LC_ALL, "");
    if (!l) {
        perror("setlocale");
        return 1;
    }
    printf("Locale selected: %s\n", l);
    // 保持ccs=UTF-8打开宽字符流
    FILE *file = fopen("example_utf-8.txt", "rt+, ccs=UTF-8");
    if (!file) {
        perror("example_utf-8.txt");
        return 2;
    }
    printf("File was opened\n");
    copyTextFiles(file, stdout);
    fclose(file);
    printf("Done\n");
}

方案2：二进制读取UTF-8，手动转码到系统区域编码 #

如果希望用窄字符操作，可以先以二进制模式读取原始UTF-8数据，再通过Windows API手动完成编码转换：

#include <stdio.h>
#include <stdlib.h>
#include <locale.h>
#include <windows.h>

// 辅助函数：将UTF-8字符串转码为系统区域编码
char* utf8_to_system(const char* utf8_str)
{
    if (!utf8_str) return NULL;

    // 先转UTF-8到宽字符
    int wide_len = MultiByteToWideChar(CP_UTF8, 0, utf8_str, -1, NULL, 0);
    wchar_t* wide_buf = malloc(wide_len * sizeof(wchar_t));
    if (!wide_buf) return NULL;
    MultiByteToWideChar(CP_UTF8, 0, utf8_str, -1, wide_buf, wide_len);

    // 再转宽字符到系统区域编码
    int system_len = WideCharToMultiByte(GetACP(), 0, wide_buf, -1, NULL, 0, NULL, NULL);
    char* system_buf = malloc(system_len);
    if (system_buf) {
        WideCharToMultiByte(GetACP(), 0, wide_buf, -1, system_buf, system_len, NULL, NULL);
    }

    free(wide_buf);
    return system_buf;
}

void copyTextFiles(FILE* in, FILE* out)
{
    char buff[1024];
    // 二进制模式下按行读取UTF-8
    while(fgets(buff, sizeof(buff), in) != NULL) {
        char* system_str = utf8_to_system(buff);
        if (system_str) {
            fprintf(out, "%s", system_str);
            free(system_str);
        }
    }
}

int main(int argc, char* argv[])
{
    char * l = setlocale(LC_ALL, "");
    if (!l) {
        perror("setlocale");
        return 1;
    }
    printf("Locale selected: %s\n", l);
    // 以二进制模式打开UTF-8文件，避免自动转码
    FILE *file = fopen("example_utf-8.txt", "rb");
    if (!file) {
        perror("example_utf-8.txt");
        return 2;
    }
    printf("File was opened\n");
    copyTextFiles(file, stdout);
    fclose(file);
    printf("Done\n");
}

补充说明 #

C版本之所以能正常工作，是因为C的std::ifstream在imbue UTF-8 locale后，会自动处理窄字符字符串的编码转换，内部已经适配了流的编码类型，不会出现C语言中窄/宽字符流不匹配的问题。

内容的提问来源于stack exchange，提问作者Marek R