Spark DataFrame拼接ArrayType列时存在无效输出问题

嘿，这个问题我熟！当你拼接多个Spark ArrayType列时，空数组确实会捣乱，导致结果里出现[]这种没用的元素。我来给你几个实用的解决方案，帮你清理掉这些空值：

核心思路 #

我们需要先把3个ArrayType列组合成一个数组集合，然后过滤掉其中的空数组元素。如果需要把非空数组的内容扁平成一维数组，再加一步展开操作即可。

方案1：保留原数组结构（过滤空数组） #

如果你希望保留每个非空列的数组作为独立元素（比如把[["walmart"], [], ["supercenter"]]变成[["walmart"], ["supercenter"]]），可以用array+filter的组合：

Python 代码

from pyspark.sql import functions as F

# 假设你的三个ArrayType列名为col1、col2、col3
df_clean = df.withColumn(
    "clean_concat_values",
    F.filter(
        F.array("col1", "col2", "col3"),  # 将三列打包为数组的数组
        lambda arr: F.size(arr) > 0  # 过滤掉元素个数为0的空数组
    )
)

Scala 代码

import org.apache.spark.sql.functions._

val df_clean = df.withColumn(
    "clean_concat_values",
    filter(
        array($"col1", $"col2", $"col3"),
        arr => size(arr) > 0
    )
)

方案2：扁平为一维数组（合并非空元素） #

如果你希望把所有非空数组的元素合并成一个一维数组（比如把[["walmart"], [], ["supercenter"]]变成["walmart", "supercenter"]），就在过滤后加上flatten操作：

Python 代码

from pyspark.sql import functions as F

df_clean = df.withColumn(
    "clean_concat_values",
    F.flatten(
        F.filter(
            F.array("col1", "col2", "col3"),
            lambda arr: F.size(arr) > 0
        )
    )
)

Scala 代码

import org.apache.spark.sql.functions._

val df_clean = df.withColumn(
    "clean_concat_values",
    flatten(
        filter(
            array($"col1", $"col2", $"col3"),
            arr => size(arr) > 0
        )
    )
)

处理边界情况 #

• 如果你的列可能出现null（注意null和空数组[]是不同的），可以在过滤条件里加上非空判断：

  # Python版本新增null判断
  lambda arr: arr.isNotNull() & (F.size(arr) > 0)
  

• 如果三个列全是空数组，过滤后的结果会是一个空数组[]，这符合预期——毕竟没有非空内容可以保留。

用这个方法处理你给出的示例数据：

• 原[walmart, []] → 过滤后变成[walmart]（或扁平后["walmart"]）
• 原[[]] → 过滤后变成[]
• 原[dollar general] → 保持不变

内容的提问来源于stack exchange，提问作者Anubhav Sarangi