如何在PySpark中统计停用词过滤后词频以生成词云或词频统计结果

你可以直接使用explode函数拆分数组列后分组统计，具体实现如下：

1. 首先导入依赖函数

from pyspark.sql.functions import explode, col

2. 执行词频统计逻辑

# 拆分数组列+分组统计+按词频倒序排序
word_count_df = df.select(explode(col("terms_stemmed")).alias("terms_stemmed")) \
                  .groupBy("terms_stemmed") \
                  .count() \
                  .orderBy(col("count").desc())

执行后word_count_df就是你需要的格式，你可以直接调用word_count_df.show()验证结果。
如果需要过滤低频词，可在统计后增加过滤条件：

# 示例：仅保留出现次数大于等于5的词汇
word_count_df = word_count_df.filter(col("count") >=5)

内容的提问来源于stack exchange，提问作者gigioneggiavamo