U-SQL中多Pivot输出多列及无UNION实现多Pivot的可行性咨询

首先，U-SQL的PIVOT语法本身只支持单维度的聚合转换，如果直接尝试多次PIVOT会比较繁琐，而且通常会用到JOIN，但完全可以不用UNION就能实现多维度的Pivot输出多列，最简洁的方式是用条件聚合（Conditional Aggregation）——这也是处理这类需求的通用方案，比嵌套Pivot或者UNION灵活太多。

先看一个场景示例 #

假设我们有一张销售数据表SalesData，结构如下：

CREATE TABLE SalesData (
    SaleDate DateTime,
    ProductCategory string,
    ProductSubcategory string,
    SalesAmount double
);

我们想要输出的结果是：按日期分组，每个日期下要显示不同类别+子类别的销售额列，比如Electronics_Phones_Sales、Electronics_Laptops_Sales、Clothing_Shirts_Sales这类多列。

用条件聚合实现（无需UNION） #

直接在SELECT里用CASE WHEN配合聚合函数，就能一次性生成所有需要的Pivot列，代码如下：

@result =
    SELECT
        SaleDate,
        SUM(CASE WHEN ProductCategory == "Electronics" AND ProductSubcategory == "Phones" THEN SalesAmount ELSE 0.0 END) AS Electronics_Phones_Sales,
        SUM(CASE WHEN ProductCategory == "Electronics" AND ProductSubcategory == "Laptops" THEN SalesAmount ELSE 0.0 END) AS Electronics_Laptops_Sales,
        SUM(CASE WHEN ProductCategory == "Clothing" AND ProductSubcategory == "Shirts" THEN SalesAmount ELSE 0.0 END) AS Clothing_Shirts_Sales,
        SUM(CASE WHEN ProductCategory == "Clothing" AND ProductSubcategory == "Pants" THEN SalesAmount ELSE 0.0 END) AS Clothing_Pants_Sales
    FROM SalesData
    GROUP BY SaleDate;

OUTPUT @result
TO "/output/multi_pivot_result.csv"
USING Outputters.Csv(quoting:false);

为什么这个方案比UNION/Pivot嵌套更好？ #

• 无需UNION：所有列一次性生成，避免了多次查询合并的性能开销和代码冗余。
• 灵活性高：可以任意组合维度（比如同时按类别、子类别、区域等生成列），不受PIVOT单维度的限制。
• 可读性强：每一列的逻辑清晰，后续维护起来比嵌套Pivot或者UNION链简单得多。

如果一定要用PIVOT语法（不用UNION） #

如果更倾向于用U-SQL的PIVOT关键字，也可以通过多次Pivot后JOIN的方式实现，但代码会更冗长，比如：

-- 第一次Pivot：按类别生成列
@pivot1 =
    SELECT *
    FROM (
        SELECT SaleDate, ProductCategory, SalesAmount
        FROM SalesData
    ) AS src
    PIVOT (
        SUM(SalesAmount)
        FOR ProductCategory IN ("Electronics" AS Electronics_Sales, "Clothing" AS Clothing_Sales)
    ) AS pvt;

-- 第二次Pivot：按子类别生成列
@pivot2 =
    SELECT *
    FROM (
        SELECT SaleDate, ProductSubcategory, SalesAmount
        FROM SalesData
    ) AS src
    PIVOT (
        SUM(SalesAmount)
        FOR ProductSubcategory IN ("Phones" AS Phones_Sales, "Laptops" AS Laptops_Sales, "Shirts" AS Shirts_Sales, "Pants" AS Pants_Sales)
    ) AS pvt;

-- JOIN合并结果
@final =
    SELECT p1.SaleDate, p1.Electronics_Sales, p1.Clothing_Sales, p2.Phones_Sales, p2.Laptops_Sales, p2.Shirts_Sales, p2.Pants_Sales
    FROM @pivot1 AS p1
    JOIN @pivot2 AS p2 ON p1.SaleDate == p2.SaleDate;

OUTPUT @final
TO "/output/pivot_join_result.csv"
USING Outputters.Csv(quoting:false);

但这种方式只适合维度独立的场景，而且如果维度组合多的话，JOIN会很麻烦，远不如条件聚合高效。

总结一下：条件聚合是U-SQL中实现多Pivot输出多列且无需UNION的最优方案，代码简洁、性能更好，还能灵活处理复杂的维度组合。

内容的提问来源于stack exchange，提问作者Brian Vallelunga