Scala中如何对Spark SQL的RelationalGroupedDataset应用filter

能否对RelationalGroupedDataset直接应用filter？ #

不存在可以直接作用在RelationalGroupedDataset上的filter方法。

• 你描述的那种「接收集合、传入元素判断函数、返回符合条件元素」的filter，是原生Java/Scala List这类线性集合、以及Spark中普通Dataset/DataFrame提供的方法。RelationalGroupedDataset是调用groupBy()后生成的中间逻辑对象，仅记录分组维度信息，没有实现filter相关接口，你查阅Spark 2.4.4版本API文档未找到对应方法是正常的，这个类本身就不支持直接调用filter。
• 要实现分组相关的筛选，按筛选时机分两类实现：
  • 分组前过滤：直接在分组前的普通DataFrame/Dataset上调用filter()，剔除不需要参与分组计算的行，再执行分组操作

    // 示例：先过滤掉年龄小于18的记录，再按城市分组计数
    df.filter(col("age") >= 18)
      .groupBy(col("city"))
      .count()
    

  • 聚合结果过滤：先对RelationalGroupedDataset调用聚合方法（agg/count/sum/max等），得到聚合后的普通DataFrame结果，再调用filter()筛选符合条件的分组，对应SQL里的HAVING逻辑

    // 示例：分组计数后，筛选记录数大于100的城市分组
    df.groupBy(col("city"))
      .count()
      .filter(col("count") > 100)
    

  如果需要对每个分组内的原始行做自定义逻辑筛选，可以改用groupByKey生成KeyValueGroupedDataset，通过mapGroups/flatMapGroups方法传入自定义处理函数，遍历分组内的所有元素实现自定义判断、筛选逻辑。

RelationalGroupedDataset的列访问规则 #

RelationalGroupedDataset是逻辑计划层面的中间节点，不承载实际物化的数据，因此无法直接读取列的具体值，仅能在后续聚合逻辑中按规则引用列：

• 分组时指定的分组键列，可以和普通DataFrame一样，直接通过col("列名")、$"列名"的语法在聚合表达式中引用
• 非分组键列不能单独引用，必须配合聚合函数（sum/count/max/collect_list等）使用，直接引用非分组列且不套聚合函数会触发分析报错。

相关参考材料 #

• 原始调用代码截图：
  
• 报错信息截图：
  
• Spark 2.4.4版本RelationalGroupedDataset官方API文档：
  Spark 2.4.4 RelationalGroupedDataset API

内容的提问来源于stack exchange，提问作者Stephanie