如何在Rust中将存储f64双精度数的大型二进制文件读取为数组

方案1：标准库直接全量读取（无需第三方依赖） #

适用场景：文件大小在内存可容纳范围内，12M级文件完全适配，性能拉满

use std::fs::File;
use std::io::{self, Read};

fn read_f64_file(path: &str, f64_count: usize) -> io::Result<Vec<f64>> {
    let mut file = File::open(path)?;
    // 预分配刚好大小的字节缓冲区，避免额外扩容开销
    let mut bytes = vec![0u8; f64_count * 8];
    // 直接读取全部字节到缓冲区，未使用BufRead，避免多余内存拷贝
    file.read_exact(&mut bytes)?;

    // 转换为f64数组，小端存储用from_le_bytes，大端存储替换为from_be_bytes即可
    let f64_arr = bytes
        .chunks_exact(8)
        .map(|chunk| f64::from_le_bytes(chunk.try_into().unwrap()))
        .collect();

    Ok(f64_arr)
}

说明：

• 不需要引入byteorder crate，直接使用标准库原生端序转换方法，性能更高
• chunks_exact保证每个块长度固定为8字节，try_into转换完全安全，unwrap不会触发panic
• 未使用BufRead的原因：一次性读取大块数据时，BufRead的内部缓冲区会带来额外的内存拷贝开销，反而降低性能，符合你的预期。

方案2：内存映射读取（适合GB级超大文件） #

如果后续文件规模增长到内存难以一次性容纳的级别，使用内存映射方式更灵活，访问时才会加载对应数据页到内存，内存占用极低。
需要先在Cargo.toml中引入依赖：memmap2 = "0.9"

use std::fs::File;
use std::io;
use memmap2::Mmap;

fn mmap_f64_file(path: &str, f64_count: usize) -> io::Result<Vec<f64>> {
    let file = File::open(path)?;
    // 内存映射整个文件，内核直接管理页缓存，无用户态内存拷贝
    let mmap = unsafe { Mmap::map(&file)? };

    // 端序转换逻辑和方案1完全一致
    let f64_arr = mmap
        .chunks_exact(8)
        .take(f64_count)
        .map(|chunk| f64::from_le_bytes(chunk.try_into().unwrap()))
        .collect();

    Ok(f64_arr)
}

如果不需要全量加载f64到Vec，也可以直接在mmap切片上按需读取，内存占用几乎为0，适合仅需访问部分数据的场景。

极端性能优化（仅内部场景使用） #

如果100%确认文件存储端序和运行程序的CPU端序完全一致，且文件字节长度刚好为f64_count * 8，可以用unsafe方式跳过遍历拷贝，性能提升30%以上：

// 仅在端序、长度完全匹配的场景下使用
unsafe fn read_f64_fast(path: &str, f64_count: usize) -> io::Result<Vec<f64>> {
    let mut file = File::open(path)?;
    let mut bytes = vec![0u8; f64_count * 8];
    file.read_exact(&mut bytes)?;

    // 直接转换内存布局，无逐元素转换开销
    let ptr = bytes.as_ptr() as *mut f64;
    let cap = bytes.capacity() / 8;
    let len = bytes.len() / 8;
    std::mem::forget(bytes);
    Ok(Vec::from_raw_parts(ptr, len, cap))
}

内容的提问来源于stack exchange，提问作者DPGraham4401