如何在DataFrame中创建计算用户ID出现频次的列？

我来帮你搞定这个需求！你需要给每个用户ID新增一列，统计该ID在列中除当前行外的出现次数，而且新列要和原DataFrame行数完全一致对吧？这里有两种实用的实现方法，都能轻松满足你的要求：

方法一：使用窗口函数（推荐，代码更简洁） #

窗口函数可以直接在每行计算对应分组的总出现次数，再减去1就得到了"其他出现次数"，不需要额外的关联操作。

步骤与代码： #

首先导入需要的模块，然后定义按user分组的窗口，最后用count函数结合窗口计算并生成新列：

from pyspark.sql.window import Window
from pyspark.sql.functions import count, col

# 初始化示例DataFrame
df = sc.parallelize([('6',10),('9',44),('6',30),('12',100),('9',99)]).toDF(['user','somecol'])

# 定义窗口：按user字段分组
user_window = Window.partitionBy("user")

# 添加新列：总出现次数 - 1 = 其他出现次数
df_with_count = df.withColumn(
    "other_occurrences",
    count("*").over(user_window) - 1
)

# 查看结果
df_with_count.show()

输出结果： #

+----+-------+------------------+
|user|somecol|other_occurrences |
+----+-------+------------------+
|   6|     10|                 1|
|   6|     30|                 1|
|   9|     44|                 1|
|   9|     99|                 1|
|  12|    100|                 0|
+----+-------+------------------+

方法二：分组聚合后关联（更直观，适合新手理解） #

先分组统计每个用户ID的总出现次数，再把统计结果关联回原DataFrame，最后计算总次数减1得到目标列。

步骤与代码： #

from pyspark.sql.functions import count

# 初始化示例DataFrame
df = sc.parallelize([('6',10),('9',44),('6',30),('12',100),('9',99)]).toDF(['user','somecol'])

# 分组统计每个user的总出现次数
user_total_counts = df.groupBy("user").agg(count("*").alias("total_occurrences"))

# 关联原DataFrame，计算其他出现次数并移除临时列
df_with_count = df.join(user_total_counts, on="user", how="left") \
    .withColumn("other_occurrences", col("total_occurrences") - 1) \
    .drop("total_occurrences")

# 查看结果
df_with_count.show()

这个方法的输出结果和方法一完全一致。

两种方法都支持字符串类型的用户ID，不需要额外做类型转换，大数据量下也能稳定运行～

内容的提问来源于stack exchange，提问作者Thomas