Azure Data Factory嵌套聚合函数报错及过滤嵌套数组需求咨询

报错原因 #

ADF数据流不允许在一个聚合函数（如collect/collect_list）的参数中嵌套另一个聚合函数，这就是你遇到报错的核心原因。

分步实现方案 #

1. 预处理有效销售周期项 #

添加派生列活动，生成仅包含有效销售周期的结构体（空项标记为null）：

ValidSalePeriod = iif(
    // 根据实际需求调整空值判断逻辑，示例为三个字段全为空时标记null
    isNull(OptionSalePrice) && isNull(OptionSaleFrom) && isNull(OptionSaleTo),
    null(),
    @(
        salePrice=OptionSalePrice,
        priceActiveFrom=toString(OptionSaleFrom),
        priceActiveTo=toString(OptionSaleTo)
    )
)

2. 第一次分组：聚合单Option的销售周期 #

添加分组依据活动，分组字段选择DataSet, Realm, Territory, ItemNo, PriceGroupCode, OptionNo, OptionPrice，聚合列生成过滤后的销售周期数组：

salePricePeriods = filter(collect_list(ValidSalePeriod), item -> !isNull(item))

此步骤通过collect_list收集所有周期项，再用filter剔除null值，得到不含空对象的数组。

3. 第二次分组：聚合主项的所有Option #

再添加一个分组依据活动，分组字段选择DataSet, Realm, Territory, ItemNo, PriceGroupCode，聚合列生成最终的嵌套数组：

options = collect_list(@(
    optionNumber=OptionNo,
    price=OptionPrice,
    salePricePeriods=salePricePeriods
))

自定义调整说明 #

• 空值判断逻辑可根据业务需求修改：比如只要salePrice不为空即视为有效项，只需调整iif中的条件表达式。
• 如果部分Option没有有效销售周期，salePricePeriods会生成空数组而非空对象，符合预期格式。

内容的提问来源于stack exchange，提问作者Dr Schizo