Spark中groupby与count操作后调用alias方法失效的原因是什么

问题根因 #

你代码里的alias()方法实际已经合法执行，只是没有达到你预期的「给count列重命名」的效果，原因是你混淆了PySpark中两种不同维度的alias方法：

• 你当前调用的是DataFrame类的alias()方法，作用是给整张数据表设置别名，仅用于多表关联时指定表前缀区分同名字段，不会修改表内任何列的名称，所以你查看输出结果时列名还是默认的count，误以为alias没有生效。
• 你预期要使用的是Column类的alias()方法，作用是给单个字段设置别名，需要针对字段对象调用才会修改输出列名。

为什么没有报错 #

你的代码语法完全符合PySpark API规范，DataFrame的alias()方法本身是合法存在的，输入参数也符合要求，只是使用场景和你预期的不一致，因此不会抛出任何错误信息。

alias()正常生效的条件 #

分两种场景对应不同的调用方式：

• 给整张表设置别名：直接对DataFrame对象调用alias(别名)即可，别名会在表的元信息中生效，多表join时可以通过表别名.列名的方式引用字段，示例：

  # 给聚合后的表设置别名test，后续关联时使用
  agg_df = df.select('name').groupby('name').count().alias('test')
  

• 给单个字段设置别名：需要对Column对象调用alias(别名)，如果要给聚合后的count列重命名，有两种常用写法：
  1. 聚合时直接对聚合函数字段调用alias

  from pyspark.sql.functions import count
  display(df.groupBy('name').agg(count('name').alias('test')))
  

  2. 聚合后通过withColumnRenamed修改列名（和列别名效果一致）

  display(df.groupBy('name').count().withColumnRenamed('count', 'test'))
  

内容的提问来源于stack exchange，提问作者Simon Breton