You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何在不进行全数据集快照构建的情况下更新部分数据集?

按日期分区数据集的精准更新方案
  • 我们的数据集按日期做分区,历史数据可追溯至任意时长。
  • 核心需求:更新某一天的数据时,仅用新数据替换该日对应数据,其余日期的数据完全保留不变。
  • Spark中的实现方式:通过配置partitionOverwriteMode参数即可实现该功能,开启后只会覆盖当前DataFrame包含的分区数据,未涉及的分区不受影响。
  • Foundry相关说明:在Foundry的快照构建与增量构建官方文档中,未提及此类分区替换更新的操作方式,现有文档仅介绍了通过增量构建向数据集追加数据的方法。

内容的提问来源于stack exchange,提问作者user5233494

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.12 02:32:33