怎样在使用write.partitionBy时在pyspark数据框中去除重复项？

在使用write.partitionBy时，可以通过使用dropDuplicates函数来去除数据框中的重复项。下面是一个示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder \
    .appName("Remove Duplicates Example") \
    .getOrCreate()

# 创建示例数据框
data = [("Alice", 25), ("Bob", 30), ("Alice", 25)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 去除重复项并写入分区
df.dropDuplicates().write.partitionBy("Name").parquet("output_path")

在上面的代码中，我们首先创建了一个包含重复项的数据框df。然后，我们使用dropDuplicates函数去除了重复项，并使用write.partitionBy将数据按照Name列进行分区。最后，我们使用parquet格式将数据写入指定的输出路径output_path。

这样，最终写入的数据将会按照Name列的不同取值分成不同的分区，并且每个分区中不会包含重复的数据。