如何在PySpark中为无数据日期的用户向DataFrame添加行？

实现思路 #

核心逻辑是先提取数据中所有唯一ID，生成这些ID与指定日期的全量组合，再和原DataFrame做左连接，最后填充缺失的数值字段。

代码实现（Python版） #

假设原DataFrame字段为id（ID标识）、date（日期类型）、value（数值字段）：

1. 提取所有唯一ID

unique_ids = df.select("id").distinct()

2. 生成所有ID与指定日期的全量组合

from pyspark.sql.functions import lit

# 指定目标日期，需和原DataFrame的date字段格式匹配，这里转为date类型
target_date = "2022-09-01"
full_id_date = unique_ids.withColumn("date", lit(target_date).cast("date"))

3. 左连接原DataFrame并填充缺失值

from pyspark.sql.functions import coalesce

# 左连接后用coalesce将null的value替换为0，也可根据需求保留null
result_df = full_id_date.join(df, on=["id", "date"], how="left") \
                        .withColumn("value", coalesce(df["value"], lit(0)))

代码实现（Scala版） #

import org.apache.spark.sql.functions.{lit, coalesce}

// 提取唯一ID
val uniqueIds = df.select("id").distinct()

// 指定目标日期
val targetDate = "2022-09-01"
val fullIdDate = uniqueIds.withColumn("date", lit(targetDate).cast("date"))

// 左连接并填充缺失值
val resultDf = fullIdDate.join(df, Seq("id", "date"), "left")
                         .withColumn("value", coalesce(df("value"), lit(0)))

补充说明 #

• 若原DataFrame的日期为字符串格式，无需cast("date")，保持格式一致即可
• 数值字段的填充值可按需调整，比如要保留null，直接去掉coalesce相关逻辑即可

内容的提问来源于stack exchange，提问作者Or Meiri