在U-SQL RowSet中检查条件：基于JSON字段过滤数据

我来帮你搞定这个U-SQL过滤带特定字段JSON的需求！

针对你提到的场景——有多组JSON数组（比如A、B、C、D），需要筛选出包含event这类特定字段的条目，下面是具体的实现步骤和方案：

步骤1：提取并解析JSON数组 #

首先用JsonExtractor读取你的JSON数据源，把每个数组字段转换成可操作的JSONTuple对象。假设你的数据存储在Azure Data Lake路径下，基础提取代码如下：

DECLARE @inputFile string = "/your-storage-path/data.json";

// 从JSON文件提取所有数组字段
@rawData =
    EXTRACT 
        A string,
        B string,
        C string,
        D string
    FROM @inputFile
    USING new Microsoft.Analytics.Samples.Formats.Json.JsonExtractor();

// 将每个数组字段解析为JSON对象集合
@parsedData =
    SELECT
        Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(A) AS A_Objects,
        Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(B) AS B_Objects,
        Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(C) AS C_Objects,
        Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(D) AS D_Objects
    FROM @rawData;

步骤2：过滤包含目标字段的条目 #

这里提供两种常用的过滤方式，你可以根据实际场景选择：

方法1：用JsonContains直接检查（推荐） #

如果还没完全解析JSON，JsonContains可以直接检查原始JSON字符串中是否包含目标字段，注意要传入带引号的字段名（匹配JSON键的格式）：

@filteredData =
    SELECT
        A,
        B,
        C,
        D
    FROM @rawData
    // 筛选A数组中包含"event"字段的条目，可按需扩展到B/C/D
    WHERE Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonContains(A, "\"event\"");

方法2：检查JSONTuple的键集合 #

如果已经解析成JSONTuple，可以直接通过键存在性判断来过滤：

@filteredParsedData =
    SELECT
        A_Objects,
        B_Objects,
        C_Objects,
        D_Objects
    FROM @parsedData
    // 检查A数组内的对象是否包含"event"键
    WHERE A_Objects.ContainsKey("event");

步骤3：处理多数组联合过滤 #

如果需要同时筛选多个数组都包含目标字段的条目，直接在WHERE子句中叠加条件即可：

@multiFilteredData =
    SELECT *
    FROM @rawData
    WHERE 
        Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonContains(A, "\"event\"")
        AND Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonContains(B, "\"event\"");

实用小提示 #

• 如果JSON嵌套层级较深（比如数组对象里还有子对象），可以用JsonTuple(A, "event.subField")直接提取嵌套字段的值。
• 确保你的U-SQL项目已经引用了Microsoft.Analytics.Samples.Formats扩展包，否则JsonExtractor和JsonFunctions会报错。

内容的提问来源于stack exchange，提问作者mourinho