Azure Data Factory中如何将数据流输出用于复制数据活动并导入Cosmos DB

方案1：数据流直接输出到Cosmos DB（推荐） #

不用绕Copy Data活动，直接在数据流的接收器环节配置Cosmos DB目标：

• 在数据流编辑器中添加接收器，类型选择「Cosmos DB (SQL API)」
• 关联你的Cosmos DB服务连接，指定目标容器
• 配置列映射，确保数据流中的字段和Cosmos容器的属性匹配
• 根据数据量设置写入模式（插入、Upsert等），同时注意和Cosmos的分区键对齐，避免写入性能瓶颈

这种方式完全跳过中间文件，处理完直接写入Cosmos，实现转换后直接写入的需求。

方案2：用数据流输出数据集对接Copy Data活动 #

如果必须通过Copy Data活动完成后续写入，可以直接读取数据流的输出，不用生成CSV文件：

• 新建一个数据集，类型选择「数据流输出」，关联你已有的处理数据流
• 在Copy Data活动的源中选择这个数据流输出数据集
• 目标配置为Cosmos DB，完成映射后即可执行，全程不会生成中间存储文件

方案3：处理多CSV文件的批量写入（如果保留中间存储） #

如果一定要保留CSV中间文件，针对ADF生成多文件的情况，可以用以下流程处理：

• 添加Get Metadata活动，指向CSV文件所在的存储路径，获取子项列表（即所有生成的CSV文件）
• 添加ForEach活动，遍历Get Metadata返回的文件列表
• 在ForEach内部添加Copy Data活动，逐个读取CSV文件并写入Cosmos DB
• 若数据量较小，也可以在数据流接收器中开启「合并文件」选项（设置单个文件路径），但会牺牲部分并行处理性能

内容的提问来源于stack exchange，提问作者Al Phaba