Pyarrow write_to_dataset在AWS Lambda指定partition_cols时触发网络/速率超限错误

核心原因 #

PyArrow的write_to_dataset在写入分区数据集时，默认会启用多线程/多进程并行处理不同分区，而Lambda执行环境的网络连接数、进程数受限，大量并发S3请求会触发AWS的API速率限制，同时多进程模式在Lambda中容易出现资源冲突导致网络错误。

具体解决建议 #

1. 强制PyArrow使用单进程/单线程模式
   在write_to_dataset调用中添加use_threads=False参数，禁用并行写入，减少并发S3请求：

   pq.write_to_dataset(ddf,
                       s3uri_parquet_dataset,
                       use_legacy_dataset=False,
                       filesystem=s3_fs,
                       compression="gzip",
                       partition_cols=["partitionDateYear", "partitionDateMonth","partitionDateDay"],          
                       basename_template=get_unique_name(),
                       use_threads=False  # 新增参数，禁用并行
                      )
   

2. 限制S3客户端的并发连接数
   创建S3FileSystem时，通过client_kwargs限制连接池大小，避免触发S3的请求速率限制：

   s3_fs = fs.S3FileSystem(
       region='eu-west-1',
       allow_bucket_creation=True,
       client_kwargs={'max_pool_connections': 10}  # 限制并发连接数
   )
   

3. 提升Lambda资源配置
   Lambda的网络带宽和CPU资源随内存配置提升，建议将内存调整至512MB或1GB，同时延长执行超时时间（比如设置为30秒以上），适配分区写入的耗时和网络需求。

4. 优化重试策略
   短时间内重复调用Lambda会触发调用速率超限，建议：

   • 避免手动频繁重试，改用Lambda自带的异步重试（配置事件源的重试策略）
   • 在代码中对S3写入操作添加指数退避重试逻辑，减少突发请求

5. 验证分区写入逻辑
   确认partition_cols对应的字段类型正确（比如是整数类型的年份/月份/日期，而非字符串），避免因分区路径生成异常导致的额外S3请求错误。

内容的提问来源于stack exchange，提问作者Tamas L