请求协助创建Azure Data Factory的Cosmos DB MongoDB类型源/目标数据集

前提准备 #

需提前创建好Cosmos DB MongoDB API链接服务，确保连接字符串正确且测试连通性通过。

源数据集（Source）创建步骤 #

• 进入ADF Studio，左侧导航栏选择「数据集」，点击「+ 新建」
• 在数据集商店搜索「Cosmos DB (MongoDB API)」，选中后点击「继续」
• 配置界面填写关键信息：
  • 名称：自定义命名（例如MongoDBSourceDataset）
  • 链接服务：选择已创建的Cosmos DB MongoDB API链接服务
  • 数据库名称：填入源Cosmos DB的目标数据库名
  • 集合名称：填入源集合名
  • 可选优化：如需过滤数据，在「筛选器」中输入MongoDB查询语法（如{ "createTime": { "$gte": ISODate("2024-01-01T00:00:00Z") } }）；也可指定分区键提升读取效率

目标数据集（Sink）创建步骤 #

• 在数据集界面点击「+ 新建」，重复选择「Cosmos DB (MongoDB API)」并进入配置页
• 核心配置项：
  • 名称：自定义命名（例如MongoDBSinkDataset）
  • 链接服务：选择目标Cosmos DB MongoDB API的链接服务（同实例迁移可复用源链接服务）
  • 数据库名称：填入目标数据库名（不存在会自动创建）
  • 集合名称：填入目标集合名（不存在会自动创建）
  • 写入行为配置：
    • 根据需求选择「插入」「Upsert」「替换」「删除」
    • 批量大小：默认1000，可根据数据量调整（大批次需注意Cosmos DB的RU限制）
    • 分区键：若目标集合已设置分区键，填写对应字段名以优化写入性能

关键注意事项 #

• 若跨区域迁移，需确保源/目标Cosmos DB的网络配置允许ADF访问（如开启服务端点、添加ADF出站IP到防火墙白名单）
• 大集合迁移时，建议在复制活动的「设置」中开启并行复制，调整并行度以提升迁移效率
• Upsert操作需确保源数据包含可匹配的唯一键（如_id），避免重复插入

内容的提问来源于stack exchange，提问作者chandu