Spark SQL中ARRAY_AGG函数报错问题求助

Spark SQL中不存在array_agg函数，需替换为Spark原生支持的聚合函数：

• 需要保留重复值时用collect_list
• 需要去重时用collect_set

1. 修正基础查询代码 #

替换函数后的代码如下：

Dataset<Row> finalDS1 = sparkSession.sql("select collect_list(company_private_id) from TEMP_COMPANY_PRIVATE_VIEW");

若需去重，将collect_list替换为collect_set即可。

2. 处理数组对比需求 #

你示例中的&应为数组交集操作，Spark SQL中对应函数是array_intersect，结合聚合函数调整SQL如下：

select array_intersect(cp.array_column, (select collect_list(int_column) from getCompanyPrivateDS ds1)) as filtered_data 
from getCompanyPrivateDS cp

注意：子查询必须返回单行数组结果，确保聚合逻辑符合预期。

补充说明 #

array_agg是PostgreSQL等其他SQL引擎的函数，Spark SQL未实现该函数名，必须使用collect_list/collect_set完成列值转数组的聚合操作。

内容的提问来源于stack exchange，提问作者Klaus