为C库调用分配缓冲区的Rust最优实现方案探讨

为C库调用分配缓冲区并非新问题，目前已知两种可行方案：

• 使用Vec<T>
• 通过std::alloc::alloc手动管理堆内存

我的问题是：这两种是否确实是仅有的可行方案？

需要明确的是，这两种方案都能正常工作，我想了解是否存在其他更优的替代方案。下面通过示例说明Vec<T>的适用场景局限，以及其他方案可能更合适的情况。

假设场景：存在一个需要写入缓冲区的C库（例如压缩库），相比在C/C++中用malloc/new分配内存再将所有权转移给Rust，由Rust分配并管理堆内存更为简便。

以支持增量（流式）压缩的库为例，这类场景需要一个能跟踪偏移量的缓冲区。

按照第一种方案（基于Vec<T>封装），我会封装Vec<T>，利用其len和capacity实现需求：

/// `Buffer` 本质是 Vec 的封装
pub struct Buffer<T>(Vec<T>);

impl<T> Buffer<T> {
    /// 创建指定容量的新缓冲区
    pub fn new(len: usize) -> Self {
        Buffer(Vec::with_capacity(len))
    }
    /// 返回缓冲区已使用长度
    pub fn len(&self) -> usize {
        self.0.len()
    }
    /// 返回缓冲区总分配容量
    pub fn capacity(&self) -> usize {
        self.0.capacity()
    }
    /// 返回缓冲区剩余可用长度
    pub fn remaining(&self) -> usize {
        self.0.capacity() - self.0.len()
    }
    /// 偏移量递增
    pub fn increment(&mut self, by: usize) {
        unsafe { self.0.set_len(self.0.len() + by); }
    }
    /// 返回缓冲区的可变原始指针
    pub fn as_mut_ptr(&mut self) -> *mut T {
        unsafe { self.0.as_mut_ptr().add(self.0.len()) }
    }
    /// 返回内部的 Vec 引用
    pub fn as_vec(&self) -> &Vec<T> {
        &self.0
    }
}

其中最核心的是increment和as_mut_ptr两个方法。

这个Buffer的使用方式如下：

fn main() {
    // 为压缩数据分配缓冲区
    let mut buf: Buffer<u8> = Buffer::new(1024);
    loop {
        // 调用C函数
        let compressed_len: usize = compress(some_input, buf.as_mut_ptr(), buf.remaining());
        // 更新偏移量
        buf.increment(compressed_len);
    }
    // 获取内部的压缩数据 Vec
    let compressed_data = buf.as_vec();
}

上述Buffer<T>存在明显风险，比如使用引用类型时会出问题，甚至T为bool时也可能导致未定义行为。不过可以通过引入 trait 限制T的类型，避免未初始化T实例带来的问题。

此外，如果内存有对齐要求，Buffer<T>也不是理想选择。

但在没有上述特殊需求的情况下，这类Buffer<T>是否确实是最佳实现方式？

目前似乎没有开箱即用的解决方案。bytes crate提供了用于存储和操作连续内存切片的容器，但它的接口灵活性不足。

内容的提问来源于stack exchange，提问作者mcmayer