如何在三张数据表全部更新完成后才向用户展示最新数据？

1. 任务调度依赖方案 #

这是通用性最高的实现思路，核心是给三个表的更新任务设置统一的后置触发条件：

• 用主流调度工具（比如Airflow、DolphinScheduler、Linux Crontab结合状态标记）给三个表的更新任务设置独立的运行节点，三个节点全部执行成功后，才触发后续的「切换用户可见数据」任务
• 实现细节：
  • 每个表更新完成后，写入一个状态标记文件/更新元数据表的对应状态为成功
  • 定时轮询三个状态位，全部为成功时执行后续操作
  • 任意任务失败时触发告警，终止后续流程，等待人工处理后重试

2. 数据表版本切换方案 #

核心是避免用户访问到更新中的脏数据，通常和调度依赖方案搭配使用：

• 给三个表分别设置「更新用临时表」和「用户访问用正式表」两套表结构
• 每个表的更新操作全部写入临时表，更新完成后不直接修改正式表
• 确认三个表的临时表都更新完成后，统一执行RENAME TABLE操作，把三个临时表同时切换为正式表，切换操作是原子性的，用户不会感知到中间状态

3. 数据快照方案 #

适合用在有快照能力的数据库/数仓场景：

• 三个表的更新直接在原表执行，更新过程中用户仍然访问更新前的快照版本
• 三个表全部更新完成后，统一把用户访问的快照版本切换到最新版本即可

注意如果使用该方案，需要确认你的数据库支持数据快照功能，避免更新过程中影响线上查询性能

4. 业务层控制方案 #

如果不想改动底层数据更新流程，也可以在业务访问层做控制：

• 后台记录三个表的最新更新完成时间
• 用户请求数据时，判断三个表的最新更新时间是否都大于等于今日的计划更新完成时间，如果是则返回最新数据，否则返回上一个更新周期的旧数据

内容的提问来源于stack exchange，提问作者Trident