Lambda并发未达预期增长问题排查求助

我们已将MSK（Kafka）事件源配置为Lambda函数的触发器。尽管偏移量滞后持续增加，但从下图可见，Lambda并发数几乎始终限制在4-5。

MSK事件源配置如下：

Batch Size: 50
Batch window: 30 seconds
Number of partitions in the Kafka topic: 10

我已确保负载在所有分区中均匀分布，请问是否遗漏了导致并发问题的配置？恳请提供解决方案，谢谢。

1. 检查Lambda函数的并发限制 #

Lambda默认账户级并发配额为1000，但如果函数设置了预留并发或函数级并发限制，会直接锁死并发上限：

• 进入Lambda函数配置页的「并发」模块：
  • 若设置了预留并发，确认预留值是否远低于10（10个分区理论上最多可触发10个并发实例）；
  • 若设置了函数级并发限制，检查限制值是否被设为4-5区间。

2. 调整MSK事件源的最大并发配置 #

Lambda的Kafka触发器有个核心配置项Maximum Concurrency（最大并发数），默认值可能被设为5，直接限制了Lambda从Kafka分区消费的并发实例数：

• 进入Lambda触发器页面，编辑MSK事件源配置，找到该选项：
  • 将其设置为与Kafka分区数匹配（比如10），或根据处理能力调至更高值，确保每个分区能对应一个Lambda实例消费。

3. 优化Lambda函数执行时长 #

如果函数执行时间过长，会导致实例无法及时释放，挤占新并发的资源：

• 查看CloudWatch的Lambda执行日志，确认平均执行时长：
  • 若接近或超过超时时间，优化函数逻辑（比如异步处理非核心逻辑、减少IO阻塞）；
  • 合理调整超时时间，避免因超时导致重复执行，浪费并发资源。

4. 排查Kafka消费者组冲突 #

Lambda作为Kafka消费者会自动管理消费者组，若存在以下情况会限制并发：

• 确认是否有其他消费者在同一消费者组中消费该Topic，导致Lambda只能分到部分分区；
• 检查MSK集群的消费者配置，确保未设置限制并发消费者数量的参数。

5. 调整批量处理参数 #

当前Batch Size=50+Batch window=30s的配置可能导致单批次数据量过大，延长函数执行时间，间接限制并发：

• 适当减小Batch Size（比如改为20），让Lambda更快处理完批次释放实例；
• 缩短Batch window（比如改为10s），让Lambda更频繁获取小批次数据，提升并发利用率。

内容的提问来源于stack exchange，提问作者pkgajulapalli