PySpark新手：UDF处理嵌套数组遇TypeError，如何打印年份？

错误原因分析 #

你遇到的TypeError: 'StringType' object is not iterable主要源于两个问题：

1. UDF返回类型定义错误：你写的ArrayType(StructType(StringType()))是非法写法——StructType需要传入由StructField组成的列表，不能直接传递StringType；而且你的函数仅做打印操作，完全不需要返回这种复杂类型。
2. UDF调用方式错误：select是DataFrame的方法，不能直接通过UDF对象调用isnumfunc.select(...)。

修正后的代码实现 #

1. 导入必要依赖

from pyspark.sql.functions import udf, col
from pyspark.sql.types import VoidType, StringType

2. 调整UDF函数

如果只是打印年份，函数逻辑可以简化：

def print_year(col):
    # col对应array<struct>类型，col[0]取数组中第一个struct元素，['year']提取年份字段
    year_val = col[0]['year']
    print(year_val)

3. 定义正确的UDF

因为函数无返回值，使用VoidType作为返回类型：

print_year_udf = udf(print_year, VoidType())

4. 正确调用UDF

假设你的数据集DataFrame名为df，调用方式如下：

df.select(print_year_udf(col("day_dict"))).show()

额外说明 #

• 注意：在分布式Spark集群环境中，UDF里的print输出会打印在Worker节点的日志中，而非Driver节点控制台。如果想直接在控制台查看结果，建议让UDF返回年份值，再通过show()展示：

  def get_year(col):
      return col[0]['year']
  
  get_year_udf = udf(get_year, StringType())
  df.select(get_year_udf(col("day_dict")).alias("year")).show()
  

• 你的原始数据示例[{20, 5, 1997}]对应struct的day/month/year字段，注意字段名要与Schema完全匹配（大小写敏感，比如是'year'还是'Year'）。

内容的提问来源于stack exchange，提问作者user3434774