Polars在AWS Lambda中复用S3连接的实现方法咨询

核心结论 #

1. Polars Python版不支持直接传入已有的boto3 client对象，它的S3连接配置通过凭证参数或默认凭证链实现，而非接收现成的client实例。
2. Polars本身（或其依赖的S3客户端）已内置连接池，结合Lambda的热启动特性，无需手动传入client即可实现连接复用。

具体实现方案 #

方案1：使用Polars默认S3实现（推荐） #

Polars Python版底层基于Rust的aws-sdk-s3，内置连接池机制。在Lambda的同一执行环境（热启动）中，后续调用会自动复用已建立的连接，无需额外配置。

代码示例：

import polars as pl

# 全局作用域无需手动创建S3客户端
def handler(event, context):
    # 直接读取S3上的Parquet文件，连接会自动复用
    df = pl.read_parquet("s3://path/to/file.parquet")
    # 后续业务逻辑处理
    return df.head().to_dict()

方案2：基于s3fs/fsspec手动管理客户端 #

如果需要自定义更多S3配置，可以将s3fs客户端放在Lambda的全局作用域，利用热启动复用该客户端（s3fs内置连接池）。

代码示例：

import polars as pl
from s3fs import S3FileSystem

# 全局作用域初始化s3fs客户端，仅冷启动时执行一次
s3_fs = S3FileSystem()

def handler(event, context):
    # 通过storage_options传入已有的s3fs客户端
    df = pl.read_parquet("s3://path/to/file.parquet", storage_options={"fs": s3_fs})
    # 后续业务逻辑处理
    return df.head().to_dict()

关于连接池的说明 #

• Polars默认的S3实现：底层aws-sdk-s3会维护连接池，在进程生命周期内（Lambda热启动的执行环境中）自动复用连接，无需手动干预。
• s3fs客户端：本身内置连接池，将其放在全局作用域后，热启动时会复用该客户端及连接池，避免每次调用重新建立连接。

Lambda的执行环境在热启动时会保留全局变量，只要将客户端初始化代码放在handler函数外，就能实现资源复用，无需额外配置连接池。

内容的提问来源于stack exchange，提问作者Sym