U-SQL列命名错误：动态JSON字段映射CSV列问题

我明白你卡在哪了——U-SQL不允许在静态SELECT语句里直接用表达式（比如"System_" + B["Name"]）生成列名，再加上你的JSON数组字段顺序不固定，硬写A、B、C的静态映射肯定会出错。咱们换个思路，用键值对展开+PIVOT转列的方式来处理，这才是应对这种动态字段场景的正确姿势。

问题根源 #

你之前的代码尝试用表达式动态定义列名，但U-SQL的静态查询语法要求列名是固定的字符串，不能是运行时计算的表达式。而且JSON数组顺序不固定，你没法保证每次A、B、C的位置都对应正确的字段，所以必须先把数组拆成行，再转成列。

解决方案步骤 #

1. 先把JSON数组展开成键值对行 #

首先要把你的JSON数组（比如[A,B,C]或[B,C,A]）拆成单独的行，每个行对应一个{Name:x, Value:y}对象：

-- 假设你的输入表叫@input，存储JSON数组的字段叫JsonArrayColumn
@unpacked =
    SELECT
        -- 加一个RowId用来分组，确保后续PIVOT时能把同一行的字段归到一起
        ROW_NUMBER() OVER () AS RowId,
        -- 解析每个数组元素为键值对
        JsonFunctions.JsonTuple(item) AS KeyValuePair
    FROM @input
    -- 把JSON数组拆成单个元素
    CROSS APPLY JsonFunctions.JsonArray(JsonArrayColumn) AS Items(item);

-- 提取Name和Value，同时把NULL的Value替换成"0"
@keyValueRows =
    SELECT
        RowId,
        KeyValuePair["Name"] AS FieldName,
        -- 提前处理NULL值
        KeyValuePair["Value"] ?? "0" AS FieldValue
    FROM @unpacked;

2. 用PIVOT把行转成列（静态场景） #

如果你的JSON里的Name值是固定的（比如只有A、B、C三种），可以直接用静态PIVOT指定列名，同时给列名加上System_前缀：

@pivotedData =
    SELECT *
    FROM @keyValueRows
    PIVOT (
        -- 取每个FieldName对应的FieldValue（因为同一RowId下每个FieldName唯一，用MAX/Min都可以）
        MAX(FieldValue) FOR FieldName IN (
            "A" AS System_A,
            "B" AS System_B,
            "C" AS System_C
        )
    ) AS PivotResult;

-- 最终输出，这里可以再确认一次NULL值（如果某个字段不存在的话）
@finalOutput =
    SELECT
        RowId,
        System_A ?? "0" AS System_A,
        System_B ?? "0" AS System_B,
        System_C ?? "0" AS System_C
    FROM @pivotedData;

-- 导出到CSV
OUTPUT @finalOutput
TO "/your/output/path/result.csv"
USING Outputters.Csv(quoting: false, header: true);

3. 动态PIVOT（应对未知的Name值） #

如果你的JSON里的Name值不固定，没办法提前列出来，就需要用动态U-SQL来生成PIVOT的列列表：

-- 先获取所有唯一的FieldName
@uniqueFields =
    SELECT DISTINCT FieldName
    FROM @keyValueRows;

-- 拼接PIVOT需要的IN子句，比如生成 "\"A\" AS System_A, \"B\" AS System_B" 这样的字符串
DECLARE @pivotInClause string =
    String.Join(",",
        (SELECT $"\"{FieldName}\" AS System_{FieldName}" FROM @uniqueFields));

-- 用EXECUTE IMMEDIATE执行动态生成的PIVOT语句
@pivotedDynamic =
    EXECUTE IMMEDIATE @"
        SELECT *
        FROM @keyValueRows
        PIVOT (
            MAX(FieldValue) FOR FieldName IN ({0})
        ) AS DynamicPivotResult
    " USING @pivotInClause;

-- 导出动态生成的列到CSV
OUTPUT @pivotedDynamic
TO "/your/output/path/dynamic_result.csv"
USING Outputters.Csv(quoting: false, header: true);

关键注意点 #

• 必须用RowId（或其他唯一标识）来分组，否则PIVOT会把所有行的相同FieldName合并成一个值
• 提前处理Value的NULL值，或者在PIVOT时用MAX(FieldValue ?? "0")来确保没有NULL
• 动态U-SQL需要确保FieldName的格式符合U-SQL列名规则（比如不能有特殊字符，如果有的话需要转义）

内容的提问来源于stack exchange，提问作者Rafael