仅过滤非空数组的DataFrame Spark

在Spark中，我们可以使用filter和size函数来过滤非空数组的DataFrame。

下面是一个示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import size

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据
data = [(1, [1, 2, 3]), (2, []), (3, [4, 5])]
df = spark.createDataFrame(data, ["id", "values"])

# 过滤非空数组的DataFrame
filtered_df = df.filter(size(df.values) > 0)

# 显示结果
filtered_df.show()

上述代码中，首先导入SparkSession和size函数。然后，使用SparkSession.builder.getOrCreate()创建一个SparkSession实例。

接下来，我们创建了一个示例数据，其中包含一个id列和一个values列，其中values列是一个数组。

然后，我们使用filter函数和size函数来过滤非空数组的DataFrame。size函数用于计算数组的大小，然后使用filter函数将大小大于0的行保留下来。

最后，我们使用show函数显示过滤后的结果。