AWS上Flink Stateful Functions如何处理Lambda的背压/429限流问题

基础背景 #

使用远程函数的Flink Stateful Functions架构中，Flink StateFun集群会将计算任务下发至通过FaaS机制部署的远程工作节点执行，典型部署方式如对接AWS Lambda。
AWS Lambda存在扩缩容限制（包括扩容速度上限与最大并发规模），需要注意的是，Lambda的并发配额作用于整个AWS账号，而非单独的某个Lambda函数。
在大规模流处理系统中，若单次Lambda调用执行的任务耗时较长，且同时间段内数据流中的键数量较多，则Flink StateFun集群极有可能遇到Lambda限流事件：即StateFun集群尝试通过API Gateway调用Lambda时，因Lambda并发调用数达到上限，收到API Gateway返回的429错误。

限流场景下的Flink StateFun处理逻辑 #

• 2.x及以上版本的Flink StateFun原生实现了远程调用失败重试机制，遇到429限流错误时默认触发指数退避重试策略：首次重试等待100ms，后续每次重试等待时长翻倍，最高等待上限为10s，默认无最大重试次数限制，直到调用成功或触发作业全局超时配置。
• 重试过程中，调用失败的消息会被暂存在StateFun集群内部的出站缓冲区，不会被标记为处理完成，也不会触发对应Checkpoint的提交，从机制上避免消息丢失。
• 若用户手动配置了statefun.remote.retries.max-attempts参数，当重试次数达到阈值后，消息会被路由到预先配置的死信队列，未配置死信路由规则时会直接抛出异常，导致作业失败重启。

重试机制对事件顺序的影响 #

• 同键（相同Key）事件流：默认配置下StateFun严格保证同键事件的处理顺序，单个事件调用Lambda失败重试时，该键对应的所有后续事件都会被阻塞在缓冲区，直到前序失败事件重试成功，不会出现同键事件乱序问题。
• 不同键事件流：不受单键重试阻塞的影响，其他无依赖关系的键对应事件可以正常提交调用，不会被限流的键拖累整体处理效率。
• 若手动开启了statefun.remote.retry.ordering: loose松散顺序配置，同键事件的重试不会阻塞后续同键事件的调用，此时可能出现同键事件乱序，需要业务侧自行处理顺序一致性问题。

内容的提问来源于stack exchange，提问作者John