Azure Data Factory：如何跳过Blob中大于2MB的文件以避免Cosmos DB复制失败

我帮你整理了几个针对这个场景的可行方案，都是在ADF里实际验证过的，应该能解决你的大文件触发Cosmos DB 2MB限制的问题：

这是最直接的分流方案，先把符合大小要求的文件挑出来复制，大文件单独处理：

• 第一步，添加Get Metadata活动，源选择Blob容器的/jsons目录，勾选递归选项（确保遍历所有虚拟子文件夹），并勾选File size属性
• 第二步，添加Filter活动，输入设置为@activity('Get Metadata1').output.childItems，过滤条件写@lessOrEquals(item().size, 2097152)（2097152字节=2MB），这样就能得到所有≤2MB的文件列表
• 第三步，把Filter活动的输出传给Copy活动：在Copy活动的Blob源里，选择文件列表模式，文件列表设置为@activity('Filter1').output.Value，这样Copy活动只会处理合规的文件
• 第四步，给大文件加个分支处理：比如用For Each活动遍历@activity('Get Metadata1').output.childItems里不符合条件的文件，把它们移动到专门的/large-files归档目录，同时发个告警通知（用Send Email活动），避免数据遗漏

如果你的大文件是JSON数组格式（比如一个文件里包含多个Cosmos文档），可以用ADF的Data Flow来拆分：

• 第一步，先通过Get Metadata + Filter筛选出所有>2MB的文件，传给For Each活动遍历每个大文件
• 第二步，在For Each里添加Data Flow活动：
  • 源选择Blob存储的单个大文件（用@item().path指定路径）
  • 添加Flatten转换，把JSON数组展开成单个文档行
  • 可选：如果展开后单个文档还是过大，可以用Split转换按行数或者预估大小拆分数据集
• 第三步，把Data Flow输出的小数据集用Copy活动写入Cosmos DB，确保每个文档都在2MB限制内
• 注意：如果是非数组格式的大JSON，需要先在Data Flow里用Derived Column把它转换成数组格式，或者用Azure Function预处理

如果Data Flow的拆分逻辑满足不了你的需求（比如复杂嵌套的JSON），可以用Azure Function做前置处理：

• 在ADF管道开头添加Azure Function活动，传入Blob的/jsons目录路径
• 在Function里编写逻辑：遍历目录下所有文件，检查大小；对于>2MB的JSON文件，把它拆分成多个≤2MB的小文件（比如按数组元素拆分，或者按固定大小切块），并存到临时Blob目录
• 然后ADF的Copy活动直接处理临时目录里的所有小文件，同时把原大文件移到归档目录
• 这种方式灵活性极高，不管是JSON还是其他格式，都能自定义拆分逻辑

关键注意点 #

• Get Metadata一定要开递归：否则读取不到虚拟文件夹里的文件，childItems只会返回根目录的内容
• 过滤条件要准确：记得用字节数计算，2MB=210241024=2097152字节，别写错数值
• 大文件一定要有后续处理：不管是归档还是拆分，都要加日志或告警，避免丢失数据

内容的提问来源于stack exchange，提问作者Martin Stoyanov