Rust使用csv crate读取CSV文件内存占用过高的优化方法

1. 不需要留存所有行的场景（当前适用） #

你当前的代码把所有行都收集为Vec<Vec<String>>属于完全不必要的内存占用，csv crate原生支持流式逐行读取，处理完的行会自动释放，内存占用只会和单行大小挂钩，和总文件大小无关：

use csv;

fn process_single_row(row: csv::StringRecord) {
    // 在这里实现你的行处理逻辑
    for column in row.iter() {
        // 处理单个字段
    }
}

fn main() {
    let mut rdr = csv::Reader::from_path("data.csv").unwrap();
    for result in rdr.records() {
        let row = result.unwrap();
        process_single_row(row);
    }
    // 全程不会积累所有行数据，250MB文件内存占用通常不超过10MB
}

2. 需要留存所有行在内存的场景 #

你遇到的250MB文件占用2.5GB内存的核心原因是Vec<Vec<String>>的内存开销过高：64位系统下每个String有24字节的元数据（指针、长度、容量），每个内层Vec也有24字节元数据，再加上分配器的内存对齐、扩容碎片，很容易出现10倍左右的内存膨胀，优化方案如下：

• 优先反序列化为结构化数据：如果CSV列的类型固定，使用csv crate的Deserialize派生功能直接读取为结构体向量，能大幅降低内存开销：

use csv::Deserialize;

#[derive(Debug, Deserialize)]
struct User {
    id: u64,
    name: String,
    age: u8,
}

fn read_csv(path: &str) -> Vec<User> {
    let mut rdr = csv::Reader::from_path(path).unwrap();
    rdr.deserialize().map(|res| res.unwrap()).collect()
}

• 优化字符串存储：对于短字段占比高的场景，使用smol_str/compact_str这类小字符串优化库替换原生String，可减少最多2/3的字符串内存开销。
• 预分配容量：提前预估文件行数、列数，给外层Vec和内层集合预分配足够容量，避免迭代过程中频繁扩容产生的临时内存碎片。

3. 内存释放后未归还操作系统的问题 #

默认glibc分配器为了提升分配性能，会缓存释放的内存供后续复用，不会主动归还给操作系统，解决方法优先级如下：

• 替换全局分配器：优先使用jemalloc或mimalloc，这两类分配器对大量小内存分配场景优化极好，且会主动将闲置内存归还给操作系统，改造成本极低。以jemalloc为例：
  1. Cargo.toml添加依赖：jemallocator = "0.5"
  2. 代码入口添加全局分配器声明：

  #[global_allocator]
  static GLOBAL: jemallocator::Jemalloc = jemallocator::Jemalloc;
  

• 不换分配器的临时方案：如果是Linux平台，可以在drop大内存块后调用glibc的malloc_trim(0)强制归还闲置内存，该调用为unsafe且平台相关，不推荐优先使用。

内容的提问来源于stack exchange，提问作者user16501562