AWS Appflow增量刷新重复数据问题处理：Salesforce数据仓库架构适配

问题根源 #

AWS Appflow的增量同步默认采用追加模式：无论是新增还是更新的Salesforce记录，都会生成新的Parquet文件追加到S3，不会修改已存在的文件（这是由S3对象存储的"写后不可修改"特性决定的）。因此S3中会同时存在同一记录的旧版本和新版本，导致总行数超过Salesforce中的实际行数。

解决数据重复的具体方案 #

1. 优化Appflow增量同步配置 #

• 选择**SystemModstamp作为增量筛选字段**：这个字段是Salesforce的系统级时间戳，涵盖所有类型的记录变更（包括字段修改、元数据更新等），比LastModifiedDate更准确，确保不会遗漏任何变更。
• 确认增量同步的起始时间逻辑：Appflow会自动记录上次同步的结束时间，每次只拉取该时间点之后变更的记录，避免重复拉取全量数据。

2. 在Glue层实现主键去重 #

不要依赖Appflow修改S3旧文件，而是在下游Glue处理阶段做去重，这是最可靠的方式：

• Glue Crawler配置：爬取S3上的所有Parquet文件，生成包含Id（Salesforce主键）和SystemModstamp字段的表结构。
• ETL作业去重逻辑：使用Spark SQL按主键分组，保留最新版本的记录：

  SELECT * FROM (
      SELECT *,
             ROW_NUMBER() OVER (PARTITION BY Id ORDER BY SystemModstamp DESC) AS row_rank
      FROM your_s3_raw_table
  ) ranked_records WHERE row_rank = 1
  

  这段SQL会为每个Id的所有记录按修改时间倒序排序，只保留第一条（最新版本），彻底去除重复行。
• 输出处理结果：将去重后的干净数据写入S3的处理后路径（如s3://your-bucket/processed/），或者直接写入RDS，确保最终数据与Salesforce一致。

3. 可选：分区存储优化效率 #

在Appflow配置中开启按时间分区（基于SystemModstamp的日期或小时），将增量文件按分区路径存储（如s3://your-bucket/raw/year=2024/month=05/day=20/）。这样Glue作业可以只处理新增的分区，无需扫描全部历史文件，大幅提升处理效率。

全架构的Appflow增量配置建议 #

• 同步频率匹配业务需求：如果是实时性要求高的场景，设置小时级同步；非核心数据可以用天级同步，平衡数据时效性和资源消耗。
• S3生命周期管理：针对原始增量文件，配置S3生命周期规则，将超过30天的文件归档到Glacier（用于审计）或直接删除（如果不需要历史轨迹），节省存储成本。
• 任务联动调度：将Appflow同步任务和Glue ETL作业绑定，通过CloudWatch Events触发——Appflow同步完成后自动启动Glue去重作业，确保数据处理的及时性。
• 定期全量校准：每月或每季度执行一次全量同步，覆盖增量同步可能遗漏的极端场景（如Salesforce记录被硬删除而Appflow未捕获），保证数据最终一致性。
• 数据校验机制：在RDS端添加定时校验脚本，对比RDS记录数与Salesforce对象的记录数，或者抽样校验关键字段的一致性，及时发现问题。

内容的提问来源于stack exchange，提问作者Musaib Jan