带长度前缀的自定义网络协议如何防范恶意包引发内存耗尽？

出于学习目的，我正在基于TcpStream编写一个基础网络协议。为分隔单个消息，曾使用read_until，但由于发送的数据可能包含任意字节，这种方法不可行。因此选择为每个消息添加长度前缀，再从流中读取对应字节数，简易实现如下：

fn read(stream: &mut TcpStream) -> Vec<u8> {
    let mut length_buffer = [0_u8; 8];
    stream.read_exact(&mut length_buffer); // 示例中忽略错误
    let length = u64::from_le_bytes(length_buffer);

    let mut result = vec![0_u8; length as usize];
    stream.read_exact(&mut result); // 示例中忽略错误

    result
}

但假设服务器使用该read函数，恶意用户可发送数据包：[255, 255, 255, 255, 255, 255, 255, 255]，导致服务器尝试分配18446744073709551615字节内存，进而崩溃。

我能想到的应对选项有：

• 硬编码最大数据包大小
• 捕获内存异常并继续？（Rust会在"容量溢出"时panic，这意味着要接受工作线程崩溃）

但这两个方案似乎都不合适。面向公网的服务器协议实际是如何处理这种情况的？

1. 定义可配置的合理最大消息长度 #

公网协议几乎都会明确最大消息长度上限，比如HTTP/2默认最大帧大小为16KB、可协商至16MB；gRPC默认最大消息大小为4MB。这不是死板的硬编码，而是：

• 先在协议规范中明确上限，客户端和服务器双向遵守
• 服务器端允许根据自身资源（内存、带宽）配置该值
• 收到超过上限的长度前缀时，直接关闭连接或返回错误，绝不尝试分配内存

在你的Rust代码中可这样修改：

const MAX_MESSAGE_SIZE: usize = 1024 * 1024; // 1MB示例上限

fn read(stream: &mut TcpStream) -> Result<Vec<u8>, Box<dyn std::error::Error>> {
    let mut length_buffer = [0_u8; 8];
    stream.read_exact(&mut length_buffer)?;
    let length = u64::from_le_bytes(length_buffer);

    let length_usize = length.try_into()?; // 处理u64转usize的溢出错误
    if length_usize > MAX_MESSAGE_SIZE {
        return Err("Message size exceeds maximum allowed".into());
    }

    let mut result = vec![0_u8; length_usize];
    stream.read_exact(&mut result)?;

    Ok(result)
}

2. 分块读取与流式处理 #

对于合法的超大消息，不会一次性分配全部内存，而是：

• 读取长度前缀并校验后，逐块读取数据（比如每次读4KB）
• 边读边处理（写入磁盘、解析协议字段等），避免占用大量内存
• 若遇到超出处理能力的超大长度，直接拒绝连接

3. 资源隔离与熔断机制 #

公网服务器不会让单个恶意连接拖垮整个服务：

• 用线程池或异步任务隔离每个连接，单个任务panic后不影响其他连接
• 配置连接超时、限流策略，比如同一IP短时间内发送大量非法请求直接拉黑
• 监控内存、CPU使用率，异常时自动清理恶意连接

4. 长度字段的安全校验 #

• 校验长度是否为0（无效消息）、是否超过usize最大值（防止溢出）
• 协议文档中明确字节序规则（比如你使用的小端序），避免跨平台解析错误

内容的提问来源于stack exchange，提问作者Encephala