在AWS Lambda使用PyArrow读取S3中Parquet文件遇超时错误求助

方案1：调整PyArrow S3FileSystem的超时参数 #

PyArrow 6.0的S3FileSystem支持手动设置连接和读取超时，默认值可能不适应Lambda的网络环境，可针对性延长超时时间：

from pyarrow import fs
from pyarrow import parquet as pq

# 设置连接超时30秒、读取超时60秒，可根据文件大小灵活调整
s3 = fs.S3FileSystem(
    connect_timeout=30,
    read_timeout=60
)
dataset_path = "test/test.parquet"
tb = pq.read_table(dataset_path, filesystem=s3, use_threads=True)
df = tb.to_pandas()

方案2：优化Lambda资源配置 #

• 提升内存分配：Lambda的网络带宽与内存配额正相关，将内存从默认128MB提升至512MB或1GB，能显著提升数据传输速度，降低超时概率。
• 延长函数超时时间：默认Lambda超时仅3秒，根据文件大小将超时调整为30秒或1分钟，确保文件读取流程能完整执行。

方案3：检查IAM权限与VPC配置 #

• 验证IAM权限：确保Lambda的执行角色拥有s3:GetObject和s3:ListBucket权限，权限不足可能引发隐性请求延迟，最终触发超时。
• 优化VPC设置：如果Lambda部署在VPC内，必须配置S3网关端点（Gateway Endpoint），避免通过NAT网关访问S3带来的高延迟；若无需VPC，直接将Lambda部署在公网环境（不配置VPC），访问S3的速度更快。

方案4：优化Parquet读取策略 #

• 禁用多线程：Lambda资源受限，use_threads=True可能引发资源竞争，尝试改为use_threads=False，减少并发带来的网络负载。
• 分块读取大文件：针对大Parquet文件，使用batch_size参数分批次读取，降低单次请求的数据量：

tb = pq.read_table(dataset_path, filesystem=s3, use_threads=True, batch_size=10000)
df = tb.to_pandas()

内容的提问来源于stack exchange，提问作者Stefano Castoldi