You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Azure Synapse实现Cosmos到Data Lake事务性CSV数据同步方案咨询

Azure Synapse 数据同步Pipeline实现方案

我是Azure云平台新手,已经通过Azure Synapse数据流Pipeline将Cosmos DB中的JSON数据同步到Data Lake,原始JSON数据示例如下:

{
    "timeFrames": [
        {
            "yearGroup": "Reception",
            "term": "Summer",
            "scoreIndeces": {
                "66": 0.2,
                "67": 0.3
            }
        },
        {
            "yearGroup": "Year 1",
            "term": "Spring",
            "scoreIndeces": {
                "64": 0.6,
                "65": 0.6
            }
        }
    ],
    "tableType": 1,
    "id": "f82",
    "productId": "4b",
    "productName": "New PUMA"
}

现需创建Pipeline实现以下需求:

  • 当Cosmos中的上述数据发生变更时,覆盖Data Lake中现有CSV文件内的对应数据
  • 若目标位置不存在事务文件,则创建新的事务文件并持续追加变更数据

相关参考文件:

  • Transactions文件
  • Main文件

内容的提问来源于stack exchange,提问作者Balaji Dev

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.15 14:47:11