PySpark选取card_1.card_type嵌套列报不存在错误如何解决

该报错的核心是PySpark对列名中点号的解析歧义：

• Spark支持列名本身包含.字符，当你传入F.col('card_1.card_type')时，引擎会优先查找顶级列中名称完全等于card_1.card_type的平级列，不会自动将点号解析为结构体嵌套层级的分隔符。
• 报错提示中给出的候选列card_1.card_type，是Spark将嵌套结构体字段按「上层字段名.子字段名」规则拼接后的路径展示，并非真实存在名为card_1.card_type的顶级列，因此会出现「提示列不存在但推荐列表里有同名项」的矛盾现象。

任选以下一种写法即可正常取出嵌套字段：

• 方法1：使用selectExpr，依托Spark SQL的原生语法识别嵌套路径，写法最简洁

# 可按需加别名避免返回的列名带点
test_df = df.selectExpr("card_1.card_type AS card_type")
test_df.show()

• 方法2：调用getField()方法链式取结构体子字段，完全规避点号歧义

test_df = df.select(F.col("card_1").getField("card_type").alias("card_type"))
test_df.show()

• 方法3：在col()中用反引号包裹各层级字段名，明确标识这是嵌套路径而非带点的列名

test_df = df.select(F.col("`card_1`.`card_type`").alias("card_type"))
test_df.show()

额外排查提示：如果上述写法修改后仍报错，需要检查你读取的文件列表中是否存在schema不一致的情况——比如部分JSON文件里的card_1字段是字符串、数字、纯null等非结构体类型，会导致Spark推断出的card_1字段类型不是结构体，自然无法取到下层的card_type字段。

内容的提问来源于stack exchange，提问作者Srinivas