Spark 2.3.2使用agg聚合列报错：提示列名含无效字符求解决

这个坑我在Spark 2.x版本踩过好几次！其实问题根本不在你的原始列名上——你看报错里提到的是sum(pagerankRAW)这个生成的聚合列名，而不是你原来的pagerankRAW。Spark 2.3.2版本对列名的特殊字符限制非常严格，括号()正好在它禁用的字符列表（ ,;{}()\n\t=）里，所以哪怕你的原始列名完全合规，默认生成的聚合列名带括号就会触发这个异常。

为什么单独用其中一个列也会报错？因为不管聚合哪个列，Spark都会默认生成sum(列名)格式的列名，只要带括号就会踩这个限制。

给你两个靠谱的解决方案：

方案一：显式使用聚合函数+别名（推荐） #

放弃字典式的agg调用，改用pyspark.sql.functions里的sum函数，同时通过alias指定不带特殊字符的列名：

from pyspark.sql.functions import sum

# 显式指定每个聚合列的别名
df2 = df.groupBy("AD_ID").agg(
    sum("pagerank").alias("sum_pagerank"),
    sum("pagerankRAW").alias("sum_pagerankRAW")
)

这种方式最清晰，也能完全避免默认列名带来的问题，后续维护起来也更方便。

方案二：聚合后重命名列 #

如果一定要保留字典式的写法，可以在聚合完成后手动重命名所有列：

# 先按原方式聚合
df2 = df.groupBy("AD_ID").agg({'pagerank':'sum','pagerankRAW':'sum'})
# 手动指定新列名，注意顺序要和聚合结果对应
df2 = df2.toDF("AD_ID", "sum_pagerank", "sum_pagerankRAW")

不过这个方法要注意列的顺序必须和聚合输出的顺序一致，否则容易把列名对应错，不太推荐用于复杂聚合场景。

另外补充个背景：Spark 3.x版本之后放宽了列名的特殊字符限制，允许括号这类字符出现在列名里，如果你后续有版本升级的计划，升级后这个问题就自然消失了。

内容的提问来源于stack exchange，提问作者Thagor