使用ADF数据流拆分大型JSON文件并导入CosmosDB/MongoDB问题咨询

问题1：指定分区数量后仅输出2个文件（含1个0字节空文件） #

解决步骤：

• 调整源端分区配置：源转换的分区选项改为「散列」或「范围」，不要使用默认的「当前工作分区」；针对JSON源文件开启「允许架构漂移」，同时设置「每个文件最大行数」为单分区预期承载的行数（如单文件限2GB可按JSON平均行宽换算为具体行数），避免源端仅生成单分片数据导致下游无数据可分区。
• 调整接收器分区策略：接收器分区选择「散列分区」，不要使用默认的「使用当前分区」，分区数直接填写预期值，取消「输出到单个文件」配置项，文件名设置统一前缀即可，ADF会自动为各分区文件增加序号后缀。
• 匹配计算资源配置：确保数据流运行的Integration Runtime集群核心数≥预期分区数的2倍，若核心数小于分区数，ADF会自动合并分区导致实际输出文件数少于设置值。

问题2：按Key分区时抛出sink requires partition column错误 #

解决步骤：

• 扁平化嵌套分区Key：若你使用的分区Key是JSON嵌套字段，在源转换后新增「派生列」转换，用表达式将嵌套字段提取为顶层独立字段，比如嵌套字段为order.biz_id，可写表达式toString(order.biz_id)生成新的顶层字段partition_key，确保该字段为字符串/数字等基础类型，而非复杂对象。
• 显式固定源数据架构：不要使用ADF自动推断JSON架构的配置，在源数据集设置中手动导入JSON Schema，确保分区Key字段被正确识别为有效列，避免自动推断时字段丢失或类型识别错误。
• 显式选择分区列：在接收器的分区配置中，直接从下拉列表选择你生成的partition_key作为分区列，不要手动输入列名，避免拼写错误导致ADF识别不到对应字段。

补充优化建议 #

若导入目标为CosmosDB for MongoDB，建议设置的数据流分区Key和Cosmos容器的预定义分区键保持一致，可减少导入后集群的数据重分布开销；导入前可新增筛选转换，过滤掉分区Key为空的行，避免空值数据全部落入同一分区导致分区倾斜。

内容的提问来源于stack exchange，提问作者Jon Bee