关于周期性快照表每日记录插入更新方式的技术问询

核心操作逻辑 #

周期性快照表的核心是留存每个周期（如每日）结束时业务实体的完整状态，常规的每日操作是插入当日全量账户的快照记录，而非仅新增或更新已有记录：

• 快照表需要保留每个周期的独立状态快照，比如要查询不同日期的账户余额，就需要对应日期的全量状态记录。
• 历史快照记录是静态不可修改的，仅在新周期到来时插入全新的全量快照数据。

性能优化方案 #

全量插入带来的性能负担可通过以下方式缓解：

• 增量快照策略：仅捕获当日状态发生变化的账户，插入其新快照；状态未变更的账户无需重复插入，查询时通过最新快照回溯历史状态（需配套相应的查询逻辑）。
• 分区存储：按快照日期对表做分区（如按日分区），插入和查询仅针对目标分区，大幅降低IO开销。
• 数据压缩：对历史快照分区启用压缩，减少存储占用与读取成本。
• 批量写入优化：使用数据库批量插入工具或优化写入配置，提升全量插入的执行效率。

内容的提问来源于stack exchange，提问作者Shaheer Shah