使用Fivetran将Google Sheets中CSV上传至Snowflake时能否仅同步修改行upsert?
Fivetran Google Sheets同步至Snowflake的upsert功能说明
结论先行:该功能是支持的,只要完成对应配置即可实现仅同步Google Sheets中的修改/新增行,对Snowflake目标表执行upsert操作。
必要配置要求
- 必须在Google Sheets的CSV内容中设置唯一非空主键列,列值不可重复、不可修改,连接器配置阶段需要将该列指定为
primary key,Fivetran依靠该主键判断行需要执行更新还是插入操作 - 不要在Sheet中使用合并单元格、隐藏行列、嵌套公式这类非标准化格式,否则会影响Fivetran的行变更识别准确度
- 连接器同步模式不要选择全量覆写,配置主键后默认会自动启用增量同步+upsert的逻辑
常见注意事项
- 如果你是定期将本地CSV导出覆盖上传到Google Sheets,这种操作会被Fivetran识别为全表行变更,会触发全量upsert,虽然最终数据一致性不受影响,但会降低同步效率,建议尽量只修改/新增对应变更行
- Fivetran的Google Sheets连接器默认不会同步行删除操作,如果需要同步删除逻辑,可以在Sheet中新增
is_deleted标记列,将需要删除的行标记为true,后续在Snowflake侧通过视图过滤已标记删除的行即可
内容的提问来源于stack exchange,提问作者R0bert
相关产品推荐
相关产品推荐

