Rust Polars从S3读取Parquet远慢于Python，如何优化？

问题场景 #

使用Rust版Polars读取S3上60MB的Parquet文件时，耗时约30秒（几乎所有时间消耗在collect()调用中），但等价的Python版Polars代码仅需约5秒。以下是两者的核心差异及Rust版本的优化方案：

Python Polars默认启用的优化点 #

• 多线程并行读取：Python版默认利用CPU多核并行解析Parquet的行组/列组，大幅提升读取效率。
• 高效S3客户端配置：底层依赖的S3客户端默认启用连接池、分块下载、并发请求等优化，减少IO等待时间。
• 智能元数据处理：自动基于Parquet元数据做谓词下推、列裁剪（即使无显式过滤条件，也会优化数据读取范围）。
• 底层IO与内存优化：调用的Rust实现默认配置了合理的内存预分配、IO缓冲策略，减少不必要的开销。

Rust版本的优化步骤 #

1. 显式开启多线程并行 #

引入num_cpus crate获取CPU核心数，为LazyFrame设置并行度：

// 先在Cargo.toml添加依赖：num_cpus = "1.16"
use num_cpus;

fn lazyframe_from_s3_key(key: &str) -> Result<LazyFrame> {
    // ... 原有代码 ...
    let df = LazyFrame::scan_parquet(key, args)?
        .with_streaming(true)
        .with_parallelism(num_cpus::get()); // 启用全核心并行
    Ok(df)
}

2. 优化S3客户端配置 #

调整CloudOptions的S3参数，增加连接池、分块下载、并发请求：

let cloud_options = cloud::CloudOptions::default()
    .with_aws([
        (Key::AccessKeyId, access_key_id),
        (Key::SecretAccessKey, secret_access_key),
        (Key::Region, region),
        (Key::MaxConnections, "64".to_string()), // 扩大连接池
        (Key::ChunkSize, "10485760".to_string()), // 10MB分块下载
        (Key::Concurrency, "8".to_string()), // 启用并发请求
    ]);

3. 配置Parquet并行读取参数 #

在ScanArgsParquet中开启并行读取：

let args = ScanArgsParquet {
    cloud_options: Some(cloud_options),
    parallel: true, // 开启Parquet并行读取
    row_group_size: None, // 让Polars自动选择最优行组大小
    ..Default::default()
};

4. 启用列裁剪（按需读取） #

如果不需要全量列，显式指定需要的列，减少数据传输量：

let df = LazyFrame::scan_parquet(key, args)?
    .with_streaming(true)
    .with_parallelism(num_cpus::get())
    .select(&["required_col1", "required_col2"]); // 仅读取需要的列

5. 更换高效内存分配器 #

使用jemallocator替代默认分配器，提升内存分配效率：

# 在Cargo.toml添加依赖
jemallocator = "0.5"

// 在main函数开头初始化
use jemallocator::Jemalloc;

#[global_allocator]
static GLOBAL: Jemalloc = Jemalloc;

fn main() -> Result<()> {
    // ... 原有代码 ...
}

完成以上优化后，重新测试读取速度，即可接近Python版Polars的性能表现。

内容的提问来源于stack exchange，提问作者jsc