Lambda搭配EFS出现高延迟问题求助

问题详情 #

使用Lambda挂载EFS时遇到严重高延迟：

• 写入1KB小文件延迟最低20ms
• 100个并发线程写入时延迟显著上升
• 合并为大文件写入，延迟仍超过50ms
  对比EFS官方说明的亚毫秒级延迟，怀疑操作有误，当前使用的Python写入代码如下：

with open(filepath, 'wb') as f:
    f.write(fact_to_write["data"])

（附延迟测试截图，显示不同并发场景下的写入延迟数据）

排查及优化建议 #

• 核对EFS性能模式：如果当前用的是通用性能模式，高并发场景下切换为最大IO性能模式。通用模式适合低并发、元数据操作少的场景，最大IO模式才是为高并发小文件操作优化的，能达到亚毫秒级缓存命中延迟。
• 检查网络配置：确保Lambda与EFS在同一VPC内，且EFS访问点所在子网有足够的弹性网络接口（ENI）——高并发下ENI不足会导致请求排队。同时确认安全组允许Lambda和EFS之间的NFS（2049端口）通信，避免跨VPC或公网访问带来的额外延迟。
• 优化文件操作逻辑：
  • EFS的亚毫秒延迟针对缓存命中场景，首次写入或冷文件访问会有较高延迟。尽量复用Lambda执行环境，同一环境内多次操作可利用缓存降低挂载、文件查找的开销。
  • 减少小文件写入次数，合并多段数据后批量写入，降低元数据操作（EFS元数据处理相对耗时）。比如调整代码为批量收集数据后一次性写入：

    # 批量写入示例
    batch_content = b''
    # 假设data_list是待写入的数据集合
    for entry in data_list:
        batch_content += entry["data"]
    with open(filepath, 'wb') as f:
        f.write(batch_content)
    

  • 避免频繁创建/删除小文件，尽量复用文件句柄或合并文件。
• 确认EFS存储类：如果使用了标准-不频繁访问（Standard-IA）或一键式IA存储类，首次访问会有数据取回延迟，切换为标准存储类可消除这部分延迟。
• 控制并发与吞吐量：100并发写入可能触发EFS按需吞吐量模式的扩容延迟，建议先测试低并发场景验证延迟，或切换为预置吞吐量模式，提前配置足够的吞吐量额度。

内容的提问来源于stack exchange，提问作者Moshe Shaham