如何直接读取UTF-16LE大文件并执行正则匹配，无需转UTF-8？

你的问题出在一次性加载整个文件到内存再解码，这种方式对1.5GB的大文件来说内存开销大，解码效率低。正确的做法是流式处理——边读取文件、边解码、边做正则匹配，完全不需要把整个文件加载到内存里。

优化方案步骤 #

1. 调整依赖 #

除了你已有的encoding_rs和encoding_rs_io，还需要regex crate处理正则匹配：

encoding_rs = "0.8.31"
encoding_rs_io = "0.1.7"
regex = "1.10.3"

2. 流式处理代码示例 #

直接对文件流做解码+逐行正则匹配，全程无需加载整个文件到内存：

use std::fs::File;
use std::io::{BufRead, BufReader};
use encoding_rs::Encoding;
use encoding_rs_io::DecodeReaderBytesBuilder;
use regex::Regex;

fn main() {
    // 提前编译正则表达式，避免循环内重复编译浪费性能
    let re = Regex::new(r"你的正则表达式").unwrap();

    // 打开目标文件
    let file = File::open("huge.text.file.txt").unwrap();

    // 将文件流包装为UTF-16LE解码流
    let decoder = DecodeReaderBytesBuilder::new()
        .encoding(Some(Encoding::UTF_16LE))
        .build(file);

    // 用BufReader实现高效逐行读取
    let buf_reader = BufReader::new(decoder);

    // 逐行执行正则匹配
    for line in buf_reader.lines() {
        let line = line.unwrap(); // 处理IO或解码错误
        if re.is_match(&line) {
            // 匹配后的逻辑，比如打印结果或写入文件
            println!("匹配到行: {}", line);
        }
    }
}

3. 关键优化点 #

• 流式解码：直接对文件句柄做解码，无需预先加载整个文件，内存占用仅保留当前行内容
• 预编译正则：Regex::new只执行一次，避免循环内重复编译的额外开销
• 逐行处理：将大文件拆分为小行处理，提升解码和匹配的缓存命中率与执行效率

原方法慢的原因 #

你之前的代码先把1.5GB文件全部读进Vec<u8>，再一次性解码成String，这个过程会：

1. 占用至少1.5GB内存存储原始字节，再额外占用1.5GB左右存储解码后的UTF-8字符串，内存压力极大
2. 一次性处理超大块数据，解码算法的缓存命中率低，导致执行速度变慢

内容的提问来源于stack exchange，提问作者Fajela Tajkiya