如何获取PySpark DataFrame各列唯一值并保存为DataFrame

可以通过遍历原DataFrame的每一列，收集该列的所有唯一值（包含Null），再将列名与对应唯一值列表组合成新的DataFrame来实现需求，具体代码如下：

代码实现 #

# 遍历每一列，收集包含Null的唯一值
result_rows = []
for col_name in df.columns:
    # 获取当前列的所有唯一值（distinct会保留Null）
    distinct_rows = df.select(col_name).distinct().collect()
    # 提取值，将None替换为"Null"以匹配预期格式
    unique_values = ["Null" if row[col_name] is None else row[col_name] for row in distinct_rows]
    result_rows.append( (col_name, unique_values) )

# 创建结果DataFrame
result_df = spark.createDataFrame(result_rows, schema=["Column_Name", "Unique_Values"])

# 查看最终结果
result_df.show(truncate=False)

输出结果 #

执行代码后会得到与预期一致的DataFrame：

注意事项 #

• collect()会将数据拉取到Driver节点，若原DataFrame数据量极大，可能引发内存压力，此时需考虑分批处理或其他分布式方案。
• Spark的distinct()方法默认保留Null值，因此无需额外逻辑即可获取包含Null的唯一值集合。

内容的提问来源于stack exchange，提问作者Mohammad