如何高效去除UTF-8字符串末尾空白？无需全串遍历优化性能

直接上反向处理的思路和代码，核心就是从字符串末尾往回找，不用遍历整个字符串，性能比从头遍历好太多：

核心逻辑 #

1. 从字符串最后一个字节开始反向遍历
2. 遇到多字节字符的后续字节（UTF-8中这类字节最高两位是10），就继续往前跳，直到找到字符的首字节
3. 判断当前首字节对应的UTF-8字符是否是空白字符
4. 如果是空白，继续往前找；如果不是，就在该字符的下一个位置加终止符，完成截断
5. 要是整个字符串全是空白，直接把第一个字节设为终止符

实现代码 #

#include <stdbool.h>

// 判断是否是UTF-8的后续字节（格式为10xxxxxx）
static bool is_utf8_continuation(unsigned char c) {
    return (c & 0xC0) == 0x80;
}

// 判断UTF-8字符是否为空白，可按需扩展支持的空白类型
static bool is_utf8_whitespace(const unsigned char *data, int *byte_len) {
    unsigned char first = data[0];
    // 单字节ASCII字符
    if ((first & 0x80) == 0) {
        *byte_len = 1;
        return first == ' ' || first == '\t' || first == '\n' || first == '\r' || first == '\f' || first == '\v';
    }
    // 双字节UTF-8字符
    else if ((first & 0xE0) == 0xC0) {
        *byte_len = 2;
        // 可添加双字节空白字符判断，比如特定Unicode空格
        return false;
    }
    // 三字节UTF-8字符
    else if ((first & 0xF0) == 0xE0) {
        *byte_len = 3;
        // 全角空格（U+3000）的UTF-8编码：0xE3 0x80 0x80
        if (data[0] == 0xE3 && data[1] == 0x80 && data[2] == 0x80) {
            return true;
        }
        return false;
    }
    // 四字节UTF-8字符
    else if ((first & 0xF8) == 0xF0) {
        *byte_len = 4;
        // 可添加四字节空白字符判断
        return false;
    }
    *byte_len = 1;
    return false;
}

void utf8_trim_end(char *data, int length) {
    if (length <= 0) {
        if (data != NULL) data[0] = '\0';
        return;
    }

    int pos = length - 1;
    unsigned char *ptr = (unsigned char *)data;

    while (pos >= 0) {
        // 跳过所有多字节字符的后续字节，定位到字符首字节
        while (pos >= 0 && is_utf8_continuation(ptr[pos])) {
            pos--;
        }
        if (pos < 0) break; // 非法UTF-8，直接清空

        int byte_len;
        if (is_utf8_whitespace(&ptr[pos], &byte_len)) {
            // 当前是空白字符，往前跳过整个字符长度
            pos -= byte_len;
        } else {
            // 找到第一个非空白字符，截断字符串
            ptr[pos + byte_len] = '\0';
            return;
        }
    }

    // 整个字符串都是空白，直接清空
    ptr[0] = '\0';
}

关键细节说明 #

• UTF-8字节识别：通过is_utf8_continuation快速定位字符首字节，保证每次处理的都是完整的UTF-8字符，不会拆分多字节字符
• 空白判断扩展：is_utf8_whitespace可以根据业务需求添加更多Unicode空白字符，比如非断空格、窄空格等，只要对应上UTF-8编码即可
• 边界场景处理：覆盖了空字符串、全空白字符串、非法UTF-8格式等极端情况
• 性能优势：只遍历字符串末尾的空白区域，长字符串下效率远高于从头遍历，尤其是末尾空白较少时，几乎可以瞬间完成截断

内容的提问来源于stack exchange，提问作者chacham15