SparkSQL：如何查询元素为Map的数组列满足指定条件

针对你描述的场景（DataFrame某列为List[Map[String,AnyRef]]类型，需筛选数组中任意元素的指定键值在目标集合中的行），SparkSQL里可以通过以下两种方式实现：

方法一：使用exists函数（推荐，逻辑更直观） #

exists函数专门用来判断数组中是否存在满足条件的元素，直接对应你需求里的""逻辑。

示例SQL语句：

SELECT * 
FROM tableX 
WHERE exists(array_col, x -> x['someArbitaryKey'] IN ('a', 'b', 'c'))

• array_col替换成你的数组列名
• x代表数组中的每个Map元素，x['someArbitaryKey']取出该Map中指定键对应的值
• 只要数组中有任意一个元素满足值在('a','b','c')里，该行就会被选中

方法二：使用transform+array_intersect #

通过转换数组为目标键值的集合，再判断与目标集合是否有交集：

示例SQL语句：

SELECT * 
FROM tableX 
WHERE size(array_intersect(transform(array_col, x -> x['someArbitaryKey']), array('a','b','c'))) > 0

• transform(array_col, x -> x['someArbitaryKey'])将原数组转换为仅包含someArbitaryKey值的新数组
• array_intersect计算新数组与目标值数组的交集，size判断交集长度，大于0则说明存在符合条件的元素

内容的提问来源于stack exchange，提问作者chendu