Rust中多线程无同步写入内存映射文件的正确实现方式是什么

你的场景下由于业务逻辑可以保证写入位置100%无重叠，不需要额外同步机制的方案是完全可行的，以下是基于memmap2库的正确实现方式：

核心实现步骤 #

1. 预分配目标文件
   首先需要创建指定大小的文件并提前完成空间预分配，避免写入时触发内核级文件扩容锁影响性能，代码示例：

let file = std::fs::File::create("huge_u64_vec.bin")?;
// 预分配40GB空间，根据你的实际需求调整大小
file.set_len(40 * 1024 * 1024 * 1024)?;

如果需要更高性能可以调用系统级fallocate接口强制预分配物理磁盘块，避免稀疏文件的写入开销。

2. 封装线程安全的内存映射
   memmap2的MmapMut默认没有实现Sync trait，无法直接跨线程共享。由于你可以保证不同线程不会访问同一块内存，可以手动为其实现Sync和Send来满足线程安全要求：

use memmap2::MmapMut;
use std::ops::Deref;

#[repr(transparent)]
struct SyncMmap(MmapMut);
// 安全保证：业务逻辑100%保证多线程不会读写/写写同一块内存
unsafe impl Sync for SyncMmap {}
unsafe impl Send for SyncMmap {}

impl Deref for SyncMmap {
    type Target = MmapMut;
    fn deref(&self) -> &Self::Target {
        &self.0
    }
}

3. 多线程写入实现
   用Arc封装SyncMmap在多线程间共享，每个线程仅写入自己负责的位置即可：

use std::sync::Arc;
use std::thread;

const THREAD_COUNT: usize = 2; // 可根据你的CPU核心数调整

fn main() -> std::io::Result<()> {
    // 步骤1：创建并预分配文件
    let file = std::fs::File::create("huge_u64_vec.bin")?;
    const FILE_SIZE: u64 = 40 * 1024 * 1024 * 1024;
    file.set_len(FILE_SIZE)?;

    // 步骤2：创建可写内存映射
    let mmap = unsafe { MmapMut::map_mut(&file)? };
    let shared_mmap = Arc::new(SyncMmap(mmap));

    let mut thread_handlers = Vec::with_capacity(THREAD_COUNT);

    for thread_id in 0..THREAD_COUNT {
        let mmap_clone = shared_mmap.clone();
        let handler = thread::spawn(move || {
            // 将映射内存转为u64切片，安全保证：内存长度、对齐都符合u64要求
            let u64_slice = unsafe {
                std::slice::from_raw_parts_mut(
                    mmap_clone.as_ptr() as *mut u64,
                    FILE_SIZE as usize / std::mem::size_of::<u64>()
                )
            };

            // 仅写入当前线程负责的位置，示例中偶数id写偶数位，奇数id写奇数位
            let mut pos = thread_id;
            while pos < u64_slice.len() {
                // 这里替换为你实际要写入的u64值
                u64_slice[pos] = pos as u64;
                pos += THREAD_COUNT;
            }
        });
        thread_handlers.push(handler);
    }

    // 等待所有线程写入完成
    for handler in thread_handlers {
        handler.join().unwrap();
    }

    // 强制将内存修改刷入磁盘，不需要立即持久化可省略
    shared_mmap.flush()?;

    Ok(())
}

注意事项 #

• 必须100%保证业务逻辑不会出现多线程写入同一位置的情况，一旦出现会触发未定义行为，该安全边界由业务逻辑保证，Rust编译器无法自动检查
• 若写入完成后需要跨线程读取写入结果，线程join操作已经自带内存屏障，不需要额外同步；如果是写入过程中需要跨线程读，需要手动添加对应位置的内存屏障
• 大文件写入时建议调整操作系统的页缓存参数，避免出现内存被页缓存占满的情况

内容的提问来源于stack exchange，提问作者Yuri Astrakhan