聚合Spark DataFrame列时出现‘Column not iterable’错误求助

出现“Column not iterable”错误主要有两个常见原因：

• 处理了非数值类型列：
  percentile_approx函数仅支持对数值型列（如int、float、decimal等）计算百分位数。你的代码遍历了DataFrame的所有列，如果其中包含字符串、布尔值或其他非数值类型列，对这些列调用该函数时，内部会尝试迭代非数值数据进行计算，从而触发该错误。

• Spark旧版本参数格式问题：
  在Spark 2.x及更早的部分版本中，percentile_approx的第二个参数要求传入百分位数列表（如[0.25]），而非单个数值。直接传入单个0.25时，函数会错误地将其视为列对象，尝试迭代这个不可迭代的标量值，进而抛出错误。

对应的解决方法 #

方法1：仅对数值型列计算 #

先筛选出DataFrame中的数值型列，再执行聚合计算：

import pyspark.sql.functions as F

# 筛选数值类型列
numeric_cols = [col_name for col_name, dtype in df.dtypes if dtype in ("int", "bigint", "float", "double", "decimal")]
exprs = {x: F.percentile_approx(x, 0.25) for x in numeric_cols}

df.agg(exprs).show()

方法2：适配旧版本Spark的参数格式 #

如果使用的是Spark 2.x及更早版本，将百分位数改为列表形式，并用getItem(0)提取单个百分位数的结果：

import pyspark.sql.functions as F

exprs = {x: F.percentile_approx(x, [0.25]).getItem(0) for x in df.columns}

df.agg(exprs).show()

内容的提问来源于stack exchange，提问作者John