Spark数据集转换为数组

要将Spark数据集转换为数组，可以使用collect()方法。collect()方法将数据集中的所有元素收集到一个数组中。

以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("Dataset to Array").getOrCreate()

# 创建一个示例数据集
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 将数据集转换为数组
array = df.collect()

# 打印数组
for row in array:
    print(row)

运行上述代码将输出以下结果：

Row(Name='Alice', Age=25)
Row(Name='Bob', Age=30)
Row(Name='Charlie', Age=35)

可以看到，数据集中的每一行被转换为一个Row对象，并存储在数组中。可以通过访问Row对象的属性来获取数据。在这个例子中，每一行有两个属性：Name和Age。