You need to enable JavaScript to run this app. PySpark运行map()、explode()相关代码触发TypeError: Column不可迭代报错的问题
优惠活动
大模型
产品
解决方案
定价
更多

PySpark运行map()、explode()相关代码触发TypeError: Column不可迭代报错的问题

报错根因

代码中写的map(col("desc"), col("age"))此处的map默认被解析为Python内置的map函数,并非PySpark提供的、用于构造MapType列的专用函数。

  • Python内置map的参数规则为:第一个参数接收待执行的函数,后续参数需要传入可迭代对象
  • 你的代码直接传入了两个PySpark Column类型对象,程序在尝试迭代Column实例时,因为Column未实现迭代协议,直接触发TypeError: Column is not iterable报错
修正方案

需要使用PySpark SQL函数库中专门用于构造Map列的create_map函数,替换掉原代码里的内置map调用:

  1. 先从pyspark.sql.functions中导入需要的col、create_map函数
  2. 将原代码里的map(col("desc"), col("age"))替换为create_map(col("desc"), col("age"))

修正后的可运行代码如下:

from pyspark.sql import Row
from pyspark.sql.functions import col, create_map

df = spark.sparkContext.parallelize([
 Row(name='Angel', age=5, height=None,weight=40,desc = "Where is Angel"),
 Row(name='Bobby', age=None, height=40,weight=50,desc = "This is Bobby")
]).toDF()

df.select(create_map(col("desc"), col("age")).alias("complex_map"))\
  .selectExpr("explode(complex_map)").show(2)

注意:create_map的入参是成对的列(键列、值列依次排列),刚好匹配你需要把desc值作为map键、age值作为map值的诉求,后续的explode逻辑可以正常执行,将构造的map列拆分为单独的键、值列。


内容的提问来源于stack exchange,提问作者JPS

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 09:45:03