Rust Polars中如何将DataFrame以Parquet格式写入S3？Cursor所有权问题求解

方案一：直接使用finish方法返回的Writer #

大多数ParquetWriter实现（比如polars中的ParquetWriter）的finish方法会消耗自身并返回传入的Writer实例，直接用返回值即可取回Cursor所有权：

let mut cursor = Cursor::new(Vec::new());
// 用finish返回的cursor替代原变量
let cursor = ParquetWriter::new(cursor)
    .with_statistics(true)
    .with_compression(ParquetCompression::Snappy)
    .finish(df)
    .unwrap();

// 现在可直接将此cursor传递给S3 SDK

方案二：直接使用Vec作为缓冲区（更简洁） #

如果不需要Cursor的特性，直接用Vec<u8>作为写入目标更高效——Vec<u8>本身实现了Write trait，写入完成后Vec的所有权完全保留，可直接传给S3 SDK：

let mut parquet_data = Vec::new();
ParquetWriter::new(&mut parquet_data)
    .with_statistics(true)
    .with_compression(ParquetCompression::Snappy)
    .finish(df)
    .unwrap();

// parquet_data中已存储生成的Parquet字节，直接传入S3 SDK的上传方法即可

方案三：共享缓冲区（适用于跨线程场景） #

如果写入逻辑需要跨线程执行，可使用Arc<Mutex<Vec<u8>>>封装共享缓冲区，自定义实现Write的结构体：

use std::sync::{Arc, Mutex};
use std::io::Write;

struct SharedBufferWriter {
    inner: Arc<Mutex<Vec<u8>>>,
}

impl Write for SharedBufferWriter {
    fn write(&mut self, buf: &[u8]) -> std::io::Result<usize> {
        let mut buffer = self.inner.lock().unwrap();
        buffer.write(buf)
    }

    fn flush(&mut self) -> std::io::Result<()> {
        Ok(())
    }
}

// 使用示例
let shared_buffer = Arc::new(Mutex::new(Vec::new()));
let writer = SharedBufferWriter { inner: shared_buffer.clone() };

ParquetWriter::new(writer)
    .with_statistics(true)
    .with_compression(ParquetCompression::Snappy)
    .finish(df)
    .unwrap();

// 获取写入后的数据
let parquet_data = shared_buffer.lock().unwrap().clone();
// 传递给S3 SDK

内容的提问来源于stack exchange，提问作者andy8203