在Azure环境中如何基于点击流数据实现ML模型的可靠实时推理

核心实现逻辑 #

你遇到的本质是异步数据流写入和同步推理请求的时序错配问题，依托Azure原生组件可以在不牺牲吞吐效率的前提下解决这个问题：

• 首先给所有客户端上报的点击事件增加两个必填字段：用户唯一标识、事件生成时间戳，客户端不需要存储全量点击数据，仅需要在本地内存暂存当前用户最近一次点击事件的时间戳即可。
• 点击流传输链路可以保留你原有的Kafka方案，也可以替换为托管的Azure Event Hubs降低运维成本，消费写入Cosmos DB时开启会话级一致性，保证同一用户的点击事件按生成顺序入库，不会出现乱序写入的情况。
• 改造你部署在AKS上的ML推理端点：
  1. 客户端调用「获取优惠」接口时，把本地暂存的最新点击时间戳作为请求参数携带
  2. 推理服务收到请求后，先查询Cosmos DB中对应用户的最新入库点击时间戳
  3. 若入库时间戳 ≥ 请求携带的时间戳，说明所有前置点击数据已就绪，直接拉取数据执行推理返回结果
  4. 若未达标，执行最多3次、每次间隔100ms的轻量重试，重试超时直接返回预设的降级优惠即可
• 如果你的模型需要对点击流做预计算特征，可以引入Azure Stream Analytics做实时特征工程，加工完成的特征直接写入Cosmos DB，推理时直接拉取预计算特征，进一步降低推理延迟。

方案优势 #

• 点击上报链路还是走高吞吐的异步流传输，仅在推理端加了极轻量的时间戳校验逻辑，99%以上的请求不需要重试，整体效率远高于全量同步上报方案
• 时序一致性有明确保障：只要是用户发起优惠请求前产生的点击，对应的生成时间戳一定小于等于请求携带的时间戳，校验通过即可保证所有前置数据都已入库
• 完全兼容你现有技术栈，不需要做大范围架构改造，仅需要增加少量字段和校验逻辑即可落地

内容的提问来源于stack exchange，提问作者Datapaul