Spark中如何合并字段数据类型不同的两个DataFrame

遇到这种字段类型不匹配的union需求很常见，核心问题在于Spark的union操作要求两个DataFrame的Schema完全一致（字段名、类型、顺序都得对应上），而你的两个df中number字段一个是String、一个是Array，直接union肯定会报错。

下面针对你的需求提供两种可行方案，你可以根据实际业务场景选择：

方案一：统一为Array类型（保留数据结构，推荐） #

这种方式把df1的单个String类型的number包装成单元素数组，和df2的类型对齐，这样union后的数据既能保留原始的单个值/数组结构，又符合Spark的类型要求。

代码示例（PySpark） #

from pyspark.sql import SparkSession
from pyspark.sql.functions import array, col

# 初始化Spark会话
spark = SparkSession.builder.appName("UnionDfWithDifferentTypes").getOrCreate()

# 创建示例df1（number为String类型）
data1 = [("kevin", "101", "NZ"), ("gevin", "102", "CA")]
df1 = spark.createDataFrame(data1, ["name", "number", "address"])

# 创建示例df2（number为Array<String>类型）
data2 = [("kevin", ["101", "102"], "NZ"), ("gevin", ["102", "103"], "CA")]
df2 = spark.createDataFrame(data2, ["name", "number", "address"])

# 将df1的number字段转为单元素数组
df1_transformed = df1.withColumn("number", array(col("number")))

# 执行union操作
unioned_df = df1_transformed.union(df2)

# 查看结果
unioned_df.show(truncate=False)

输出结果 #

+-----+------------+-------+
|name |number      |address|
+-----+------------+-------+
|kevin|[101]       |NZ     |
|gevin|[102]       |CA     |
|kevin|[101, 102]  |NZ     |
|gevin|[102, 103]  |CA     |
+-----+------------+-------+

这个结果和你期望的几乎一致，只是单元素值被包装成了数组（带方括号），这是Spark强类型的要求，无法避免，但完全不影响后续的数据处理。

方案二：统一为String类型（转为字符串格式） #

如果你希望number字段全部是String类型，可以把df2的数组转成逗号分隔的字符串，这样union后的数据会更贴近你写的"无方括号"的展示效果。

代码示例（PySpark） #

from pyspark.sql.functions import concat_ws

# 将df2的number数组转为逗号分隔的字符串
df2_transformed = df2.withColumn("number", concat_ws(",", col("number")))

# 执行union操作
unioned_df_string = df1.union(df2_transformed)

# 查看结果
unioned_df_string.show(truncate=False)

输出结果 #

+-----+--------+-------+
|name |number  |address|
+-----+--------+-------+
|kevin|101     |NZ     |
|gevin|102     |CA     |
|kevin|101,102 |NZ     |
|gevin|102,103 |CA     |
+-----+--------+-------+

关键说明 #

Spark DataFrame是强类型数据结构，同一个字段不能同时存在两种不同的数据类型，所以必须先统一类型才能执行union。两种方案各有优劣：

• 方案一保留了数组的结构，适合后续需要对数组元素进行操作的场景；
• 方案二转为字符串，适合只需要展示或者按字符串处理的场景。

内容的提问来源于stack exchange，提问作者user6325753