Spark中执行SQL表连接遇分组错误，求排查解决方法

你碰到的这个AnalysisException是SQL分组查询的典型问题——在GROUP BY子句的逻辑下，查询字段要么必须出现在分组条件里，要么得被聚合函数包裹。

先看你的原始查询：

SELECT c.id, c.age, mean(v.vitesse) 
FROM cyclistes as c , voyages as v 
WHERE c.id == v.id 
GROUP BY c.id

这里的c.age既没被放到GROUP BY的分组条件中，也没有用聚合函数处理，Spark无法确定该为每个分组选取哪个age值，所以直接抛出了错误。

修正方案 #

最直接的解决方式是给c.age加上聚合函数，你提到的max()完全可行；如果每个id对应的age是唯一的（比如一个骑手ID对应唯一年龄），用first()、min()或者last()也都能达到目的：

requete_sql = """ 
SELECT c.id, max(c.age), mean(v.vitesse) 
FROM cyclistes as c , voyages as v 
WHERE c.id == v.id 
GROUP BY c.id 
"""
spark.sql(requete_sql)

补充优化建议 #

如果业务场景里每个id确实只对应一个age，用first(c.age)会更贴合语义——毕竟你只是要取出该分组下的唯一年龄值，而非求最大/最小值：

SELECT c.id, first(c.age), mean(v.vitesse) 
FROM cyclistes as c , voyages as v 
WHERE c.id == v.id 
GROUP BY c.id

另外，建议改用显式JOIN语法，让查询逻辑更清晰易读：

SELECT c.id, first(c.age), mean(v.vitesse) 
FROM cyclistes c
JOIN voyages v ON c.id = v.id
GROUP BY c.id

内容的提问来源于stack exchange，提问作者Romain Jouin