GBK转UTF-8后字符串长度异常致正则匹配失败求助

• 原GBK字符串混入隐藏不可见字符：身份证号看似18位，但实际GBK编码中可能包含全角空格、单字节控制字符等不可见内容，转码后这些字符被保留，导致长度增加1。
• 转码函数参数处理错误：使用MultiByteToWideChar/WideCharToMultiByte时，若未正确指定字符串长度（比如误传包含终止符的长度，或未截断无效字节），可能导致转码时额外生成无效字节。
• GBK编码识别偏差：输入字符串并非纯GBK编码，部分字节被误判为GBK字符，转码后产生额外占位字符。

1. 校验原GBK字符串的字节内容 #

转码前打印每个字符的十六进制值，排查异常字节：

void printGBKBytes(const char* gbkStr) {
    for (const char* p = gbkStr; *p; ++p) {
        printf("0x%02X ", (unsigned char)*p);
    }
    printf("\n");
}

正常身份证号的GBK字节应为0x30-0x39（数字）或0x58（大写X），若出现其他值（如0xA0全角空格），直接过滤或替换。

2. 修正转码函数实现 #

确保转码时严格处理字符串长度，以下是适配VS2022 C++17的正确GBK转UTF-8实现：

#include <windows.h>
#include <string>
#include <stdexcept>

std::string gbkToUtf8(const char* gbkStr) {
    if (!gbkStr) return "";

    // 转换为宽字符
    int wideLen = MultiByteToWideChar(CP_GBK, 0, gbkStr, -1, nullptr, 0);
    if (wideLen == 0) throw std::runtime_error("MultiByteToWideChar failed");
    std::wstring wideStr(wideLen, 0);
    MultiByteToWideChar(CP_GBK, 0, gbkStr, -1, wideStr.data(), wideLen);

    // 转换为UTF-8
    int utf8Len = WideCharToMultiByte(CP_UTF8, 0, wideStr.data(), -1, nullptr, 0, nullptr, nullptr);
    if (utf8Len == 0) throw std::runtime_error("WideCharToMultiByte failed");
    std::string utf8Str(utf8Len, 0);
    WideCharToMultiByte(CP_UTF8, 0, wideStr.data(), -1, utf8Str.data(), utf8Len, nullptr, nullptr);

    // 移除末尾自动添加的终止符
    if (!utf8Str.empty() && utf8Str.back() == '\0') {
        utf8Str.pop_back();
    }
    return utf8Str;
}

注意：传入-1会自动处理\0终止符，转码后需检查并移除多余的终止符。

3. 转码后过滤无效字符 #

转码完成后，只保留身份证号允许的字符（数字、大写X）：

#include <algorithm>

std::string cleanIdCard(const std::string& utf8Str) {
    std::string cleaned;
    std::copy_if(utf8Str.begin(), utf8Str.end(), std::back_inserter(cleaned),
        [](char c) {
            return (c >= '0' && c <= '9') || c == 'X';
        });
    return cleaned;
}

该操作可直接过滤混入的不可见字符，保证字符串长度为18位。

4. 调试时查看字节细节 #

在VS2022调试中，右键字符串变量→「查看字符串」→选择「十六进制」视图，直接查看每个字节的内容，确认额外字节的类型（如单字节控制字符）。

内容的提问来源于stack exchange，提问作者SeaYJ