NodeJS 中如何缓存数据并按条件触发第三方调用与失败重试?
整体实现可行性说明
完全支持数据暂存直到满足触发条件的需求,所有逻辑可以基于现有两个Node.js应用的采集端改造实现,不需要改动原有应用的核心业务流程。
核心逻辑落地规则
触发发送逻辑
严格匹配要求的触发判定规则,收到数据后和周期扫描时统一做条件校验:
- 时间维度触发:自上一次批量发送完成的时间点开始计时,累计满10分钟后,检查待发缓存桶,如果存在待发送数据则立刻发起发送
- 数量维度触发:设置两个计数阈值
- 常规周期窗口下,待发桶数据累计达到20条时,不等10分钟时间窗口,直接触发发送
- 单条数据提交后的即时校验:每收到一条通过
axios.post提交的采集数据,立刻检查两个条件——距上次发送是否已过10分钟、当前待发桶累计数据是否达到10条,任意一个条件满足就直接发起发送,无需等待定时轮询
失败重试逻辑
- 当向第三个应用发起的调用出现失败(包含网络超时、连接异常、第三方服务返回5xx类错误),不做即时重试
- 将当前批次的待发数据标记为待重试状态,在10-15分钟的区间内取随机值设置延迟触发时间,到点后重新发起发送流程
- 可搭配简单的重试次数上限规则,超过上限的异常数据单独落日志存储,避免无效重试占用资源
适配Node.js技术栈的实现方案
根据采集端的部署规模选择对应方案,不需要引入复杂的外部服务:
轻量单实例部署场景
适合采集端只有1个运行实例、没有横向扩缩容的场景:
- 数据暂存:用
node-cache这类轻量内存缓存存储待发数据,读写速度快,逻辑简单;如果担心进程重启导致数据丢失,可搭配lowdb这类轻量文件型数据库做实时持久化兜底,把待发数据同步落盘 - 触发逻辑:用
node-cron做固定频率(比如每1分钟1次)的扫描检查,判断是否到达10分钟发送窗口、是否到达重试的延迟触发时间;代码内维护待发数据计数,收到post提交的数据时同步更新计数,即时做触发条件校验
多实例分布式部署场景
适合采集端有多个运行副本、需要跨实例统一发送逻辑的场景:
- 数据暂存:用Redis做共享待发存储,用List结构存放待发数据条目,用Sorted Set结构存储待触发的时间节点(包含周期发送的时间点、失败重试的延迟时间点),天然支持跨实例共享读写
- 触发逻辑:基于Redis的分布式锁做发送流程的互斥控制,保证同一个触发节点只有一个实例发起批量发送,避免重复推送;每次收到post提交的数据时,在Redis中累计待发计数,达到阈值时直接触发发送流程
实现注意事项
- 每次触发发送流程时,要第一时间清零待发计数、更新上次发送的完成时间戳,避免短时间内重复发起相同的发送请求
- 重试延迟时间要做随机偏移,不要所有失败请求固定在同一时间点重试,避免给第三方应用造成突发流量压力
- 如果待发数据量较大,要控制内存中缓存的数据体量,及时把超过一定规模的待发数据落到持久化存储,避免内存溢出
内容的提问来源于stack exchange,提问作者Marina Leroy
相关产品推荐
相关产品推荐

