能否并行运行多分区Deequ异常检测并单次获取结果？

• 基础场景说明
  • 持有按多列分区的Spark DataFrame，典型分区字段覆盖两个维度：
    • partner列：取值范围包含Google、Facebook、Bing
    • channel列：取值范围包含PLA、Text
  • 不同分区组合（例如Google-PLA、Google-TEXT、Facebook-TEXT等）的数据遵循完全独立的变化模式，需要针对每个组合单独运行适配其规律的异常检测逻辑。
• 当前已验证的基础实现逻辑
  • 可针对不同分区组合配置带有对应筛选规则的AnomalyCheckConfig
  • 校验结果输出环节，使用与配置完全一致的筛选规则匹配对应数据范围
• 现有流程的效率瓶颈
  目前的实现需要先逐一筛选出各分区组合的独立数据子集，再串行运行匹配对应筛选规则的异常检测任务，整体链路运行效率较低。

待确认的实现路径 #

• 是否存在可并行运行所有分区异常检测任务的实现方法？
• 能否直接基于全局完整DataFrame，多次传入适配不同分区的AnomalyCheckConfig调用addAnomalyCheck()方法，在单次作业运行中，一次性获取所有配置对应的全部Verification校验结果？

内容的提问来源于stack exchange，提问作者Sifang