在Rust中如何按字符属性边界分割&str字符串？

你的当前方案存在两个明显问题：一是用as_bytes()处理会破坏非ASCII字符（比如中文、emoji等多字节字符），is_ascii_alphanumeric()仅针对ASCII字节判断，会把完整的非ASCII字符拆成多个字节分到不同chunk中；二是虽然from_utf8().unwrap()安全，但逻辑上已经偏离了“按字符属性分割”的核心需求。

目前Rust标准库没有直接针对&str的chunk_by方法，但可以通过以下两种方式实现需求：

方法一：使用itertools库的chunk_by（推荐） #

itertools的chunk_by支持作用于任意迭代器，包括&str的字符迭代器，能正确处理Unicode字符：

首先在Cargo.toml中添加依赖：

[dependencies]
itertools = "0.12"

然后编写代码：

use itertools::Itertools;

fn main() {
    let input = "Hello 世界!123 测试";
    // 按字符是否为字母数字或空白符分组
    for chunk in input.chars().chunk_by(|c| c.is_alphanumeric() || c.is_whitespace()) {
        let segment: String = chunk.collect();
        println!("{:?}", segment);
    }
}

这段代码会将输入字符串按字符属性连续分割，输出结果为：

"Hello "
"世界"
"!"
"123 "
"测试"

方法二：标准库实现（无额外依赖） #

如果不想引入第三方库，可以基于char_indices()记录字符的起始索引，直接从原字符串中截取&str切片：

fn split_by_char_attr(s: &str) -> Vec<&str> {
    let mut result = Vec::new();
    if s.is_empty() {
        return result;
    }

    let mut char_iter = s.char_indices().peekable();
    let mut start_idx = 0;
    // 初始化当前字符的属性
    let mut current_attr = char_iter
        .peek()
        .map(|(_, c)| c.is_alphanumeric() || c.is_whitespace())
        .unwrap();

    while let Some((curr_idx, c)) = char_iter.next() {
        let new_attr = c.is_alphanumeric() || c.is_whitespace();
        // 属性变化时分割字符串
        if new_attr != current_attr {
            result.push(&s[start_idx..curr_idx]);
            start_idx = curr_idx;
            current_attr = new_attr;
        }
    }
    // 添加最后一段
    result.push(&s[start_idx..]);
    result
}

fn main() {
    let input = "Hello 世界!123 测试";
    for segment in split_by_char_attr(input) {
        println!("{:?}", segment);
    }
}

这个方法不需要分配额外的String，直接返回原字符串的子切片，性能更优。

内容的提问来源于stack exchange，提问作者Timmmm