如何从Snowflake表向Azure Databricks的Delta Lake表增量插入数据（保留旧记录）
2026-8-21
从Snowflake向Azure Databricks Delta Lake执行增量数据插入操作
我正尝试将Snowflake表中的增量数据插入到Azure Databricks的Delta Lake表中，相关数据示例如下：
（原图片说明：Snowflake表数据与Delta Lake预期输出）
现有Delta Lake表数据
| id | name | salary | dept | address | createdate | updateddate | enddate |
|---|---|---|---|---|---|---|---|
| 1 | aaa | 5000 | pharma | 美国 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
| 2 | bbb | 6000 | mechanical | 英国 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
| 3 | ccc | 7000 | pharma | 新加坡 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
Snowflake表新增数据
| id | name | salary | dept | address | createdate | updateddate | enddate |
|---|---|---|---|---|---|---|---|
| 1 | aa | 5000 | pharma | 德国 | 08-24-2022 | 01-01-9999 | 01-01-9999 |
| 4 | fff | 8000 | IT | 芬兰 | 08-24-2022 | 01-01-9999 | 01-01-9999 |
预期Delta Lake表数据
| id | name | salary | dept | address | createdate | updateddate | enddate |
|---|---|---|---|---|---|---|---|
| 1 | aaa | 5000 | pharma | 美国 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
| 2 | bbb | 6000 | mechanical | 英国 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
| 3 | ccc | 7000 | pharma | 新加坡 | 08-23-2022 | 01-01-9999 | 01-01-9999 |
| 1 | aa | 5000 | pharma | 德国 | 08-24-2022 | 01-01-9999 | 01-01-9999 |
| 4 | fff | 8000 | IT | 芬兰 | 08-24-2022 | 01-01-9999 | 01-01-9999 |
内容的提问来源于stack exchange，提问作者bigdata techie
相关产品推荐
相关产品推荐
