使用round函数时PySpark3列名显示异常问题
问题解决:PySpark聚合后列名不符合预期
错误原因
你的代码把round()函数嵌套在expr()外面,导致PySpark将整个round的调用表达式作为列名,而非你在expr内定义的invoice_value。外层的round无法识别expr内部的别名定义,直接将整个计算逻辑作为列名输出。
正确写法
方式一:将round整合到expr表达式内
把round计算和别名定义放在同一个expr中,让PySpark直接识别最终列名:
summary_df1 = orders_df\ .groupBy("country", "invoiceno")\ .agg( expr("sum(quantity) as total_quantity"), expr("round(sum(quantity * unitprice), 0) as invoice_value") )\ .sort("invoiceno")
方式二:使用PySpark原生函数组合(推荐)
避免嵌套expr,直接用PySpark内置函数+alias()定义列名,代码更易读:
from pyspark.sql.functions import sum, round, col summary_df1 = orders_df\ .groupBy("country", "invoiceno")\ .agg( sum("quantity").alias("total_quantity"), round(sum(col("quantity") * col("unitprice")), 0).alias("invoice_value") )\ .sort("invoiceno")
内容的提问来源于stack exchange,提问作者jay suryavanshi
相关产品推荐
相关产品推荐

