如何在Apache Druid中处理电商系统数据的更新？

1. 版本化事实记录模式 #

• 每次订单变更，就给Druid写入一条带版本号的新记录，保留所有历史版本。比如给每条订单记录加order_version字段，每次更新就将版本号递增1。
• 查询时直接用Druid自带的LATEST聚合器获取每个订单的最新版本数据：

  SELECT 
    order_id,
    LATEST(status, order_version) AS current_status,
    LATEST(total_amount, order_version) AS current_total,
    LATEST(items, order_version) AS current_items
  FROM order_facts
  GROUP BY order_id
  

• 优势：完全适配Druid的不可变存储特性，支持实时同步订单变更，还能保留完整的历史轨迹，无需额外维护lookup表。
• 注意事项：定期清理过旧的历史版本（比如只保留最近3个月的版本），避免存储膨胀。通过Druid的retentionPolicy配合分区管理可实现自动清理。

2. 增量流摄入+替换模式 #

• 若使用Kafka等消息队列同步订单变更，可配置Druid的增量摄入任务，仅同步订单的变更字段，无需全量重写记录。
• 开启replace模式的摄入规则：当同order_id的新记录摄入时，自动替换旧记录（本质是在Druid的segment层面完成替换，对外呈现的始终是最新状态）。
• 适用场景：不需要保留历史变更轨迹，仅需获取订单最新状态的报表需求。

3. 维度表的更新处理 #

• 对于商品、用户这类维度表的变更，同样采用版本化思路：给每条维度记录添加dim_version字段，变更时写入新版本记录。
• 查询时可通过LATEST函数关联维度的最新状态，或者在ETL阶段就将当前最新的维度属性直接关联到事实记录中（比如每次订单变更时，同步当时最新的商品信息到订单事实记录）。

4. 实时+离线混合模式 #

• 对生命周期中频繁变更的订单，先实时同步所有版本到Druid，满足实时报表需求；当订单关闭冻结后，执行一次离线任务，将该订单的所有历史版本合并为一条最终记录，清理冗余的旧版本，优化存储和查询性能。
• 该模式既兼顾了Druid的实时分析能力，又避免了长期存储大量历史版本的成本。

内容的提问来源于stack exchange，提问作者brahmana