Rust中结构体序列化追加文件及反序列化加载的技术问询

问题背景 #

需要实现结构体的序列化，将对象序列化为字节并追加至单个文件，同时实现对应的加载功能，具体疑问如下：

1. 将结构体序列化为字节并追加到文件的惯用方式是什么？下述代码是否可行？

fn serialize_and_save<T: Serialize> (file:&mut File, value:T) {
    let encoded = bincode::serialize(value)?;

    file.write_all(&encoded)?; // the file may have some T objects already

    Ok(())
}

2. 如何加载包含多个对象字节数据的文件并完成反序列化？

问题解答 #

1. 序列化追加文件的惯用方式及代码可行性 #

你提供的代码可以运行，但存在核心缺陷：bincode默认序列化格式不会记录单条数据的长度，直接追加多个对象后，反序列化时无法区分每个对象的字节边界——你不知道该从何处截断字节流来解析单个对象。

惯用的标准方案是先写入序列化后数据的长度，再写入数据本身，给每个对象的字节流加上明确的长度标记，后续加载时就能精准拆分数据。修改后的代码如下：

use serde::Serialize;
use std::fs::File;
use std::io::{self, Write};

fn serialize_and_save<T: Serialize>(file: &mut File, value: T) -> io::Result<()> {
    // 序列化目标对象
    let encoded = bincode::serialize(&value)?;
    // 将数据长度转为固定字节长度的u32（小端字节序）并写入文件
    let len = encoded.len() as u32;
    file.write_all(&len.to_le_bytes())?;
    // 写入序列化后的字节数据
    file.write_all(&encoded)?;
    
    Ok(())
}

2. 加载多对象文件并反序列化 #

加载时需要循环执行「读取长度→读取对应长度字节→反序列化」的流程，直到文件读取完毕。示例代码如下：

use serde::Deserialize;
use std::fs::File;
use std::io::{self, Read};

fn load_all<T: Deserialize<'static>>(file: &mut File) -> io::Result<Vec<T>> {
    let mut result = Vec::new();
    // 用于存储长度的缓冲区，对应写入时的u32（4字节）
    let mut len_buf = [0u8; 4];

    loop {
        match file.read_exact(&mut len_buf) {
            Ok(_) => {
                // 解析出数据长度
                let len = u32::from_le_bytes(len_buf) as usize;
                // 分配对应长度的缓冲区并读取数据
                let mut data_buf = vec![0u8; len];
                file.read_exact(&mut data_buf)?;
                // 反序列化对象并加入结果列表
                let obj = bincode::deserialize(&data_buf)?;
                result.push(obj);
            }
            Err(e) if e.kind() == io::ErrorKind::UnexpectedEof => {
                // 文件读取完毕，退出循环
                break;
            }
            Err(e) => {
                // 抛出其他读取/解析错误
                return Err(e);
            }
        }
    }

    Ok(result)
}

注意事项：

• 确保序列化和反序列化使用完全一致的bincode配置（比如字节序、长度编码规则），否则会出现解析失败。
• 如果文件存在损坏数据，读取过程会直接报错，可根据需求添加容错逻辑（比如跳过损坏的对象块）。

内容的提问来源于stack exchange，提问作者Crispy13