PySpark运行map()、explode()相关代码触发TypeError: Column不可迭代报错的问题
报错根因
代码中写的map(col("desc"), col("age"))此处的map默认被解析为Python内置的map函数,并非PySpark提供的、用于构造MapType列的专用函数。
- Python内置map的参数规则为:第一个参数接收待执行的函数,后续参数需要传入可迭代对象
- 你的代码直接传入了两个PySpark Column类型对象,程序在尝试迭代Column实例时,因为Column未实现迭代协议,直接触发
TypeError: Column is not iterable报错
修正方案
需要使用PySpark SQL函数库中专门用于构造Map列的create_map函数,替换掉原代码里的内置map调用:
- 先从
pyspark.sql.functions中导入需要的col、create_map函数 - 将原代码里的
map(col("desc"), col("age"))替换为create_map(col("desc"), col("age"))
修正后的可运行代码如下:
from pyspark.sql import Row from pyspark.sql.functions import col, create_map df = spark.sparkContext.parallelize([ Row(name='Angel', age=5, height=None,weight=40,desc = "Where is Angel"), Row(name='Bobby', age=None, height=40,weight=50,desc = "This is Bobby") ]).toDF() df.select(create_map(col("desc"), col("age")).alias("complex_map"))\ .selectExpr("explode(complex_map)").show(2)
注意:create_map的入参是成对的列(键列、值列依次排列),刚好匹配你需要把desc值作为map键、age值作为map值的诉求,后续的explode逻辑可以正常执行,将构造的map列拆分为单独的键、值列。
内容的提问来源于stack exchange,提问作者JPS
相关产品推荐
相关产品推荐

