AWS Quicksight增量加载至SPICE出现重复数据的解决咨询

• 启用增量刷新主键匹配：在SPICE数据集编辑页面的「数据刷新选项」中开启增量刷新，指定唯一主键字段（如业务ID、自增ID）。新数据上传时，QuickSight会自动对比主键，存在相同主键的记录时会用新数据覆盖旧记录，而非重复插入。
• 自定义SQL从源头去重：若数据源支持SQL查询，编写带去重逻辑的SQL作为数据源输入。比如用窗口函数保留最新版本记录：

SELECT * FROM (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY 主键字段 ORDER BY 更新时间 DESC) AS rn
    FROM 源表
) t WHERE rn = 1

或者用DISTINCT关键字直接过滤重复行，从根源避免重复数据进入SPICE。

• 配置刷新冲突处理规则：在数据集刷新设置中，将增量刷新的冲突处理选项设为「根据主键替换现有记录」，而非默认的「追加所有记录」。
• 定期全量刷新补充去重：若增量刷新覆盖不全，可设置定时全量刷新任务（比如每周一次），全量刷新会重新加载所有数据并基于主键自动去重，清理遗漏的重复记录。

内容的提问来源于stack exchange，提问作者zidan