如何在Rust中高效获取非UTF-8编码字符串的字符索引

我需要获取字符串中每个字符在非UTF-8编码下的字节位置，实现类似string.char_indices("cp936")的功能，得到字符对应编码（如cp936）的字节偏移量。目前我基于rust-encoding crate写了一个候选实现，但担心它的效率不足，想找Rust里更高效的解决方案，要求无需手动逐个编码字符串中的字符，优先使用知名成熟的crate。

候选实现代码如下：

// 使用 rust-encoding crate
use encoding::{Encoding, EncoderTrap};
use encoding::label::encoding_from_whatwg_label;

// 使用示例: char_indices("Acme\u{a9}", "ISO-8859-2")
fn char_indices(s: &str, encoding_label: &str) -> Vec<(usize, char)> {
    let mut pos = 0;
    let mut result = Vec::new();
    let encoder = encoding_from_whatwg_label(encoding_label).unwrap();
    for ch in s.chars() {
        let ch_str = ch.to_string();
        let bytes = encoder.encode(&ch_str, EncoderTrap::Strict).unwrap();
        result.push((pos, ch));
        pos += bytes.len();
    }

    result
}

推荐使用 encoding_rs crate，它由Mozilla维护，是高性能且活跃维护的编码库，完全满足对知名crate的要求。

优化后的实现避免了逐个字符转String的额外内存分配，直接利用encoding_rs的API处理字符的UTF-8表示，性能提升显著：

use encoding_rs::{Encoding, EncoderResult};

// 使用示例: char_indices("Acme\u{a9}", encoding_rs::GBK)
fn char_indices(s: &str, encoding: &'static Encoding) -> Vec<(usize, char)> {
    let mut pos = 0;
    // 预分配结果向量，避免多次扩容
    let mut result = Vec::with_capacity(s.chars().count());
    // 根据编码最大单字符字节数预分配缓冲区，重复利用
    let mut buffer = vec![0; encoding.max_utf8_buffer_length(1)];

    for ch in s.chars() {
        // 栈分配缓冲区存储字符的UTF-8表示，无堆分配
        let mut utf8_buf = [0; 4];
        let utf8_slice = ch.encode_utf8(&mut utf8_buf);
        
        match encoding.encode_from_utf8(utf8_slice, &mut buffer, true) {
            (EncoderResult::InputEmpty, written, _) => {
                result.push((pos, ch));
                pos += written;
            }
            _ => panic!("字符编码失败"),
        }
    }

    result
}

核心优化点 #

• 消除冗余分配：不再为每个字符创建String，改用栈分配的UTF-8缓冲区，输出缓冲区也仅初始化一次重复使用。
• 高性能编码逻辑：encoding_rs的编码路径经过高度优化，比rust-encoding的老旧实现效率更高。
• 类型安全的编码实例：直接传入Encoding类型实例（如encoding_rs::GBK对应cp936），避免了字符串标签解析的开销和潜在错误。

如果需要通过编码标签（如"cp936"）获取编码实例，可以搭配encoding_rs_index crate，它提供了高效的标签到Encoding的映射：

use encoding_rs_index::encoding_for_label;

// 通过字节标签获取编码实例
let encoding = encoding_for_label("cp936".as_bytes()).unwrap();

内容的提问来源于stack exchange，提问作者Kaiwen