如何在C语言中正确处理含非ASCII字符的字符串？

问题描述 #

我计划用C语言编写一款类似Hangman的游戏，需要支持带变音符号的德语单词（如ä、ü、ö）以及全非ASCII字符的希腊语单词。编译器与终端的Unicode支持正常，字符串显示无问题，但无法对这类多字节UTF-8字符串执行正确操作。针对德语或许可以单独处理6个带重音的大小写字符，但这种方案不适用于希腊语。

测试代码如下：

#include <stdio.h>
#include <string.h>

int main() {
    printf("123456789\n");
    char aTestString[] = "cheese";
    printf("%s ist %d Zeichen lang\n", aTestString, strlen(aTestString));
        
    for (int i = 0; i < strlen(aTestString); i++) {
        printf("( %c )", aTestString[i]);   // char als char
        printf("[ %02X ]", aTestString[i]); // char in hexadezimal
    }

    printf("\n123456789\n");
    char aTestString2[] = "Käse";
    printf("%s has %d characters\n", aTestString2, strlen(aTestString2));
        
    for (int i = 0; i < strlen(aTestString2); i++) {
        printf("( %c )", aTestString2[i]);  // char als char
        printf("[ %02X ]", aTestString2[i]); // char in hexadezimal
    }
    
    printf("\n123456789\n");    
    char aTestString3[] = "λόγος";
    printf("%s has %d characters\n", aTestString3, strlen(aTestString3));

    for (int i = 0; i < strlen(aTestString3); i++) {
        printf("( %c )", aTestString3[i]);  // char als char
        printf("[ %02X ]", aTestString3[i]); // char in hexadezimal
    }
}

测试输出：

123456789
cheese has 6 character
( c )[ 63 ]( h )[ 68 ]( e )[ 65 ]( e )[ 65 ]( s )[ 73 ]( e )[ 65 ]
123456789
Käse has 5 characters
( K )[ 4B ](  )[ FFFFFFC3 ](  )[ FFFFFFA4 ]( s )[ 73 ]( e )[ 65 ]
123456789
λόγος has 10 characters
(  )[ FFFFFFCE ](  )[ FFFFFFBB ](  )[ FFFFFFCF ](  )[ FFFFFF8C ](  )[ FFFFFFCE ](  )[ FFFFFFB3 ](  )[ FFFFFFCE ](  )[ FFFFFFBF ](  )[ FFFFFFCF ](  )[ FFFFFF82 ]

需要解决的核心问题：

• 统计字符串中的Unicode字符数量（strlen返回的是字节数，并非实际字符数）
• 判断特定Unicode码点是否存在于字符串中

解决方案 #

C标准库没有原生支持Unicode操作，但可以基于UTF-8的编码规则手动实现核心逻辑，无需引入外部库。

1. 统计Unicode字符数量 #

UTF-8的编码规则：

• ASCII字符（U+0000~U+007F）：单字节，最高位为0
• 2字节字符：首字节以110开头，后跟1个以10开头的续写字节
• 3字节字符：首字节以1110开头，后跟2个续写字节
• 4字节字符：首字节以11110开头，后跟3个续写字节

基于此规则，遍历字节流并跳过续写字节，即可统计实际Unicode字符数：

#include <stdio.h>
#include <string.h>

int count_unicode_chars(const char *str) {
    int count = 0;
    while (*str) {
        if ((*str & 0x80) == 0) {
            // 单字节ASCII，移动1位
            str++;
        } else if ((*str & 0xE0) == 0xC0) {
            // 2字节序列，移动2位
            str += 2;
        } else if ((*str & 0xF0) == 0xE0) {
            // 3字节序列，移动3位
            str += 3;
        } else if ((*str & 0xF8) == 0xF0) {
            // 4字节序列，移动4位
            str += 4;
        } else {
            // 无效UTF-8字节，跳过当前字节
            str++;
        }
        count++;
    }
    return count;
}

// 测试
int main() {
    char *test1 = "cheese";
    char *test2 = "Käse";
    char *test3 = "λόγος";
    
    printf("%s: %d 个Unicode字符\n", test1, count_unicode_chars(test1));
    printf("%s: %d 个Unicode字符\n", test2, count_unicode_chars(test2));
    printf("%s: %d 个Unicode字符\n", test3, count_unicode_chars(test3));
    
    return 0;
}

输出结果：

cheese: 6 个Unicode字符
Käse: 4 个Unicode字符
λόγος: 5 个Unicode字符

2. 判断特定Unicode码点是否存在 #

先将UTF-8字节序列解析为对应的Unicode码点，再与目标码点对比：

#include <stdio.h>
#include <string.h>
#include <stdint.h>

// 解析下一个Unicode码点，同时移动字符串指针
uint32_t next_unicode_char(const char **str) {
    uint32_t codepoint = 0;
    unsigned char c = **str;

    if ((c & 0x80) == 0) {
        // 单字节ASCII
        codepoint = c;
        (*str)++;
    } else if ((c & 0xE0) == 0xC0) {
        // 2字节序列
        codepoint = (c & 0x1F) << 6;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F);
        (*str)++;
    } else if ((c & 0xF0) == 0xE0) {
        // 3字节序列
        codepoint = (c & 0x0F) << 12;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F) << 6;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F);
        (*str)++;
    } else if ((c & 0xF8) == 0xF0) {
        // 4字节序列
        codepoint = (c & 0x07) << 18;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F) << 12;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F) << 6;
        (*str)++;
        c = **str;
        codepoint |= (c & 0x3F);
        (*str)++;
    } else {
        // 无效字节，返回替代字符U+FFFD
        codepoint = 0xFFFD;
        (*str)++;
    }

    return codepoint;
}

// 检查目标码点是否存在于字符串中
int codepoint_exists(const char *str, uint32_t target) {
    const char *ptr = str;
    uint32_t cp;

    while ((cp = next_unicode_char(&ptr)) != 0) {
        if (cp == target) {
            return 1;
        }
    }
    return 0;
}

// 测试
int main() {
    char *german_str = "Käse";
    // ä的Unicode码点：U+00E4
    if (codepoint_exists(german_str, 0x00E4)) {
        printf("字符串中包含字符ä\n");
    }

    char *greek_str = "λόγος";
    // λ的Unicode码点：U+03BB
    if (codepoint_exists(greek_str, 0x03BB)) {
        printf("字符串中包含字符λ\n");
    }

    return 0;
}

输出结果：

字符串中包含字符ä
字符串中包含字符λ

注意事项 #

• 上述代码仅处理合法UTF-8序列，遇到无效字节会返回替代字符U+FFFD，可根据需求调整错误处理逻辑
• 若需支持更多Unicode特性（如大小写转换、字符分类），可考虑使用ICU库，但对于Hangman游戏的核心需求，手动实现足够轻量
• 确保源代码文件以UTF-8编码保存，编译器使用UTF-8处理字符串常量

内容的提问来源于stack exchange，提问作者ᛉᛉᛉ ᛉᛉᛉ