使用serde与bincode反序列化非标准长度编码的Vec<u8>比特币消息

有两种简洁的实现可以解决硬编码预分配缓冲区的问题：

方案一：最小改动优化现有逻辑 #

问题根源是deserialize_tuple要求固定长度，替换为不定长的deserialize_seq即可完全适配动态payload长度，仅需修改Deserialize实现的一行代码：

impl<'de> Deserialize<'de> for Message {
    fn deserialize<D>(deserializer: D) -> Result<Message, D::Error> where D: Deserializer<'de>,
    {
        // 替换原有的deserialize_tuple(5000, ...)
        deserializer.deserialize_seq(MessageVisitor)
    }
}

无需修改其余逻辑，即可支持任意合法长度的比特币消息payload。

方案二：轻量化拆分反序列化（无需自定义Visitor） #

针对固定头部+动态负载的二进制协议，可以拆分反序列化逻辑，代码更简洁易维护：

依赖配置（Cargo.toml） #

[package]
name = "serde-test"
version = "0.1.0"
edition = "2018"

[dependencies]
serde = { version = "1.0", features = ["derive"] }
bincode = "1.3.3"

代码实现（main.rs） #

use bincode::Options;
use serde::Deserialize;

#[derive(Debug, Deserialize)]
struct MessageHeader {
    magic: u32,
    command: [u8; 12],
    length: u32,
    checksum: u32,
}

#[derive(Debug)]
struct Message {
    magic: u32,
    command: [u8; 12],
    length: u32,
    checksum: u32,
    payload: Vec<u8>,
}

fn deserialize_bitcoin_msg(bytes: &[u8]) -> Result<Message, Box<dyn std::error::Error>> {
    let opts = bincode::DefaultOptions::new().with_fixint_encoding();
    // 先反序列化固定24字节的头部
    let header: MessageHeader = opts.deserialize(bytes)?;
    // 读取对应长度的payload
    let payload = bytes[24..24 + header.length as usize].to_vec();
    // 校验checksum逻辑此处省略

    Ok(Message {
        magic: header.magic,
        command: header.command,
        length: header.length,
        checksum: header.checksum,
        payload,
    })
}

fn main() {
    let bytes = b"\xf9\xbe\xb4\xd9version\x00\x00\x00\x00\x00e\x00\x00\x00_\x1ai\xd2r\x11\x01\x00\x01\x00\x00\x00\x00\x00\x00\x00\xbc\x8f^T\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\xff\xff\xc6\x1bd\t \x8d\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\xff\xff\xcb\x00q\xc0 \x8d\x12\x805\xcb\xc9yS\xf8\x0f/Satoshi:0.9.3/\xcf\x05\x05\x00\x01";
    let msg = deserialize_bitcoin_msg(bytes).unwrap();
    println!("{:?}", msg);
}

该方案完全规避了serde自定义反序列化的复杂逻辑，性能更优，可读性更强。

同类参考问题翻译 #

《我可以用Bincode反序列化带可变长度前缀的向量吗？》

内容的提问来源于stack exchange，提问作者Kevin