如何在Rust中实现字符串内的多语言检测？

方案1：使用cld3 crate（Google CLD3的原生Rust绑定） #

CLD3是Google推出的新一代语言检测库，原生支持检测文本中的多语言片段，并返回每个片段对应的语言标识和字节范围，完全匹配你需要的功能。

1. 添加依赖到Cargo.toml：

[dependencies]
cld3 = "0.5"

2. 示例代码：

use cld3::NNetLanguageIdentifier;

fn main() {
    let mixed_text = "Hello, this is English. Bonjour, c'est du français. 你好，这是中文。";
    // 初始化检测器，参数分别为最小检测长度和最大文本长度
    let detector = NNetLanguageIdentifier::new(0, 1000);
    
    // 获取所有语言片段的详细信息
    let language_segments = detector.find_language_segments(mixed_text);
    
    for segment in language_segments {
        println!(
            "语言: {}, 字节范围: {:?}, 置信度: {:.2}",
            segment.language, segment.byte_range, segment.confidence
        );
    }
}

运行后会输出每个语言片段的具体字节位置，和Python中pycld2的returnVectors=True效果一致。

方案2：基于whatlang手动分片检测（备选） #

如果必须使用whatlang，可以手动将文本拆分为小片段后逐个检测，但这种方法无法精准定位语言切换的边界，需要自行调整分片策略：

1. 添加依赖：

[dependencies]
whatlang = "0.16"

2. 示例代码：

use whatlang::{detect, Lang};

// 自定义分片函数，按固定字节长度拆分文本
fn split_text_into_chunks(text: &str, chunk_size: usize) -> Vec<&str> {
    text.as_bytes()
        .chunks(chunk_size)
        .filter_map(|chunk| std::str::from_utf8(chunk).ok())
        .collect()
}

fn main() {
    let mixed_text = "Hello, this is English. Bonjour, c'est du français. 你好，这是中文。";
    let chunks = split_text_into_chunks(mixed_text, 15);
    
    for (index, chunk) in chunks.iter().enumerate() {
        if let Some(lang_info) = detect(chunk) {
            println!("片段{}: 语言={}, 置信度={:.2}", index, lang_info.lang(), lang_info.confidence());
        }
    }
}

注意：这种方法的精度依赖分片大小，过小会导致检测失败，过大则无法区分相邻的语言片段。

关于弃用的cld2 crate #

Rust的cld2 crate已停止维护，存在兼容性和安全风险，官方推荐使用CLD3作为替代方案，它是原生Rust实现，性能和准确性更优。

内容的提问来源于stack exchange，提问作者mike rodent