如何将explode处理后的结果转换为PySpark DataFrame？

错误原因 #

PySpark的show()是动作操作，仅用于执行计算并打印DataFrame内容，返回值为None。你把show()的结果赋值给df2，自然得到NoneType对象，调用groupBy时必然报错。

正确做法 #

先通过select(explode(...))生成有效的DataFrame（这是转换操作，返回新的DataFrame），再对该DataFrame执行分组统计，最后调用show()查看结果。

修正后的代码示例

from pyspark.sql.functions import explode

# 1. 生成爆炸后的DataFrame，不要直接加show()，建议给列起清晰别名
df2 = new_df.select(explode(new_df.ngrams).alias("bigram"))

# 2. 执行分组统计并展示结果
df2.groupBy("bigram").count().show(truncate=False)

如果不需要自定义列名，使用默认的col列名也可：

df2 = new_df.select(explode(new_df.ngrams))
df2.groupBy("col").count().show()

关键注意点 #

• 转换操作（如select、groupBy、alias）：返回新的DataFrame，不会立即触发计算。
• 动作操作（如show、count、collect）：触发实际计算，返回非DataFrame类型的结果（如None、数值、列表）。

内容的提问来源于stack exchange，提问作者luqing qi