C语言处理UTF-8文本时特殊字符识别异常问题求助

你遇到的“奇怪数值”本质是UTF-8多字节字符被拆分为单个有符号char后的正常表现，具体原因和解决方案如下：

原因解析 #

你看到的左引号“、右引号”、撇号’都是Unicode中的「智能标点」，它们的UTF-8编码是3字节序列：

• 左双引号（U+201C）：编码为0xE2 0x80 0x9C
• 右双引号（U+201D）：编码为0xE2 0x80 0x9D
• 右单引号（U+2019，即you're中的撇号）：编码为0xE2 0x80 0x99

在Ubuntu 22.04的GCC环境中，char默认是有符号类型，取值范围是-128~127。当值大于127（0x7F）的字节存入有符号char时，会被解析为负数：

• 0xE2 → -30
• 0x80 → -128
• 0x9C → -100
• 0x9D → -99
• 0x99 → -103

这完全匹配你看到的输出结果——代码把3字节的UTF-8字符拆成了独立单字节处理，自然会输出这些负数。

代码的核心问题 #

你的代码用单字节的char处理UTF-8文本是不合理的：

1. strlen计算的是字节数而非实际字符数
2. 逐字节循环会把多字节字符拆碎，无法识别完整的非ASCII字符
3. isalpha、isascii等ctype库函数仅针对单字节ASCII设计，无法处理UTF-8多字节序列

解决方案 #

根据你的需求（提取单词生成词表），可以选择以下几种处理方式：

1. 改用无符号字节查看原始编码 #

把char替换为unsigned char，大于127的字节会以正数形式显示原始UTF-8编码值，方便调试：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <ctype.h>

int main(int argc, char *argv[])
{
    unsigned char   *lineIn     = (unsigned char*)"“Wo-ho!” said the coachman. “So, then! One more pull and you’re at the";
    const unsigned char delim    = ' ';
    int             strLen      = strlen((char*)lineIn);
    int             i           = 0;

    printf("Start - %s\n", lineIn);
    printf("\n");

    for (i = 0; i < strLen + 1; i++)
    {   
        if (isalpha(lineIn[i])) {
            printf("Alpha - (%c) ", lineIn[i]);
        } else if (iscntrl(lineIn[i])) {
            printf("Cntrl - %c\n", lineIn[i]);
        } else if (isxdigit(lineIn[i])) {
            printf("Hex - %c\n", lineIn[i]);
        } else if (isascii(lineIn[i])) {
            printf("Asc - %c\n", lineIn[i]);
        } else if (lineIn[i] == delim) {
            printf("\n");
        } else { 
            printf("Unk - %u\n", lineIn[i]); // 无符号格式输出原始编码
        }
    }   

    return 0;
}

2. 预处理替换智能标点为ASCII对应字符 #

如果只需要提取单词，可以先把智能引号替换为普通ASCII标点，简化后续处理：

sed -e 's/“/"/g' -e 's/”/"/g' -e "s/’/'/g" input.txt > processed.txt

3. 完整解析UTF-8字符 #

如果需要准确处理所有UTF-8字符，可以使用libicu、glib等库的UTF-8处理函数，或者自行实现简单的UTF-8解码逻辑，识别多字节序列的起始字节并完整读取整个字符。

内容的提问来源于stack exchange，提问作者Griffau