PySpark引用Struct结构中名为name的子字段报错如何解决

你遇到的报错属于命名冲突，并非SQL保留字导致：PySpark的Column类内置name()方法用于设置列别名，当你使用点语法df.resource.name访问Struct类型的子字段name时，Python会优先将name识别为Column对象的内置方法，而非Struct内的自定义字段，因此会提示传入参数为方法而非列对象。

以下方案均可以规避命名冲突问题，通用所有和Column内置方法重名的字段访问场景：

方案1：中括号语法访问（最便捷） #

中括号访问不会触发Python内置属性的查找优先级，会直接匹配Struct内的字段名：

# 写法1：直接传入完整嵌套路径
df3 = df.select(df["resource.id"], df["resource.name"])
# 写法2：分层访问
df3 = df.select(df.resource["id"], df.resource["name"])

方案2：使用col()函数构造列引用（官方推荐） #

从pyspark.sql.functions导入col工具函数，直接用字符串指定字段路径，完全规避属性冲突问题，代码可读性更高：

from pyspark.sql.functions import col
df3 = df.select(col("resource.id"), col("resource.name"))

方案3：getItem()显式获取子字段 #

逻辑和中括号语法一致，写法更明确，适合多层嵌套的复杂Struct结构：

df3 = df.select(df.resource.getItem("id"), df.resource.getItem("name"))

内容的提问来源于stack exchange，提问作者Seaport