Azure Synapse实现Cosmos到Data Lake事务性CSV数据同步方案咨询
Azure Synapse 数据同步Pipeline实现方案
我是Azure云平台新手,已经通过Azure Synapse数据流Pipeline将Cosmos DB中的JSON数据同步到Data Lake,原始JSON数据示例如下:
{ "timeFrames": [ { "yearGroup": "Reception", "term": "Summer", "scoreIndeces": { "66": 0.2, "67": 0.3 } }, { "yearGroup": "Year 1", "term": "Spring", "scoreIndeces": { "64": 0.6, "65": 0.6 } } ], "tableType": 1, "id": "f82", "productId": "4b", "productName": "New PUMA" }
现需创建Pipeline实现以下需求:
- 当Cosmos中的上述数据发生变更时,覆盖Data Lake中现有CSV文件内的对应数据
- 若目标位置不存在事务文件,则创建新的事务文件并持续追加变更数据
相关参考文件:
- Transactions文件
- Main文件
内容的提问来源于stack exchange,提问作者Balaji Dev
相关产品推荐
相关产品推荐

