解析UTF-8字符串字面量时，如何检测多字节字符的字节数？

核心思路：基于UTF-8编码规则识别多字节字符长度 #

UTF-8的编码规则是固定的，通过首字节的高位掩码可直接确定整个字符的字节数：

• 0x00-0x7F：1字节（ASCII字符）
• 0xC0-0xDF：2字节UTF-8字符的首字节
• 0xE0-0xEF：3字节UTF-8字符的首字节
• 0xF0-0xF7：4字节UTF-8字符的首字节
• 0x80-0xBF：仅作为多字节字符的续字节，不能单独作为首字节

你可以实现一个简单函数来判断首字节对应的总字节数：

int get_utf8_byte_count(unsigned char c) {
    if ((c & 0x80) == 0) return 1;          // ASCII字符
    if ((c & 0xE0) == 0xC0) return 2;       // 2字节UTF-8
    if ((c & 0xF0) == 0xE0) return 3;       // 3字节UTF-8
    if ((c & 0xF8) == 0xF0) return 4;       // 4字节UTF-8
    return -1;                              // 无效的UTF-8首字节
}

字符串字面量的解析流程（避免引号误判） #

当进入单/双引号包裹的字符串后，按以下逻辑处理每个字节：

• ASCII字节处理：
  • 如果是转义符\，直接跳过下一个字节（转义后的引号不会触发字符串结束）
  • 如果是当前字符串的包裹引号（比如双引号字符串里的"），则结束字符串
  • 其他ASCII字节正常跳过
• 非ASCII字节处理：
  1. 调用上述函数获取多字节字符的总长度n，若返回-1（无效首字节），直接返回错误
  2. 检查缓冲区剩余字节是否足够容纳整个多字节字符，不足则返回截断错误
  3. （可选）验证后续n-1个字节是否符合续字节规则（即每个字节高位为10，也就是(cont & 0xC0) == 0x80），不符合则返回无效UTF-8错误
  4. 直接将当前位置向后移动n个字节——跳过整个多字节字符，这一步是关键：续字节哪怕是'或"，也不会被当作单独的结束符判断

示例代码片段 #

以下是处理字符串字面量的核心逻辑：

// 输入：buf=输入缓冲区，pos=当前解析位置（传入指针以修改），quote_char=当前字符串的包裹引号（'或"）
// 返回：0=处理成功，-1=错误
int parse_string_literal(unsigned char *buf, int *pos, char quote_char) {
    (*pos)++; // 跳过起始引号

    while (buf[*pos] != '\0') {
        unsigned char curr = buf[*pos];

        if ((curr & 0x80) == 0) { // 处理ASCII字符
            if (curr == '\\') {
                // 处理转义，跳过下一个字符
                (*pos)++;
                if (buf[*pos] == '\0') return -1; // 未结束的转义
                (*pos)++;
            } else if (curr == quote_char) {
                // 遇到结束引号，退出字符串解析
                (*pos)++;
                return 0;
            } else {
                (*pos)++;
            }
        } else { // 处理非ASCII的UTF-8字符
            int byte_count = get_utf8_byte_count(curr);
            if (byte_count == -1) return -1; // 无效UTF-8首字节

            // 检查剩余字节是否足够
            if (buf[*pos + byte_count - 1] == '\0') return -1;

            // 验证续字节合法性（可选，按需开启）
            for (int i = 1; i < byte_count; i++) {
                unsigned char cont = buf[*pos + i];
                if ((cont & 0xC0) != 0x80) return -1;
            }

            // 跳过整个多字节字符
            *pos += byte_count;
        }
    }

    return -1; // 未找到结束引号，字符串未闭合
}

关键注意事项 #

• 续字节（0x80-0xBF）永远不会单独触发结束判断，必须作为多字节字符的一部分被整体跳过，彻底避免'/"作为续字节时的误判
• 必须处理转义的引号，否则合法的转义引号（如\"）会被误判为字符串结束
• 对于无效的UTF-8序列（比如首字节是0x80-0xBF，或续字节不符合规则），可直接返回错误，因为这类字节不属于合法的UTF-8字符

内容的提问来源于stack exchange，提问作者kerkeslager