PySpark：对列求和、转Decimal类型并重命名遇错求助

错误原因 #

你在select方法中嵌套了另一个df.select()调用，这会将子查询返回的整个DataFrame作为参数传入，但select仅接受列表达式、字符串列名这类可迭代的列对象，因此触发TypeError: Column is not iterable错误。

正确实现方式 #

根据你的需求（对nondiscountedmarketvalue求和、转Decimal(18,2)并重命名），分两种常见场景给出解决方案：

1. 全局求和（整个DataFrame的总金额）

如果需要计算全表的nondiscountedmarketvalue总和，直接在select中使用聚合函数即可，注意先导入sum函数：

from pyspark.sql.functions import sum

# 计算全局总和，先转换类型再求和，并重命名
total_sum_df = df.select(
    sum(df["nondiscountedmarketvalue"].cast("decimal(18,2)")).alias("sum_marketvalue")
)

# 若要将全局总和与原表的name列一起展示（每行name对应同一个总和），可使用crossJoin
result_df = df.select("name").crossJoin(total_sum_df)
result_df.show(truncate=False)

2. 按name分组求和（每个name对应的总金额）

如果需要按name分组计算各自的金额总和，使用groupBy+agg组合：

from pyspark.sql.functions import sum

# 分组求和，转换类型后聚合，重命名结果列
grouped_sum_df = df.groupBy("name") \
    .agg(
        sum(df["nondiscountedmarketvalue"].cast("decimal(18,2)")).alias("sum_marketvalue")
    )
grouped_sum_df.show(truncate=False)

补充说明 #

• 转换类型和求和的顺序可以互换：也可以先求和再转换为decimal(18,2)，效果一致：

  sum(df["nondiscountedmarketvalue"]).cast("decimal(18,2)").alias("sum_marketvalue")
  

• 确保已导入pyspark.sql.functions中的sum函数，否则会报错。

内容的提问来源于stack exchange，提问作者ps.jvictor