如何将Spark DataFrame的Schema批量复制到另一个DataFrame？

当你需要让两个列名相同但Schema不同的Spark DataFrame保持Schema一致时，完全不需要逐列手动转换，通过遍历目标Schema（df1的Schema）批量转换即可高效解决问题。

实现思路 #

核心逻辑很简单：

• 遍历df1的所有字段，获取每个列的目标数据类型
• 对df2中对应的列，统一转换为该目标类型
• 返回转换后的DataFrame

批量转换函数实现 #

def apply_schema(source_df, target_df):
    # 遍历source_df的每个字段，对target_df对应列进行类型转换
    transformed_cols = [
        target_df[field.name].cast(field.dataType)
        for field in source_df.schema.fields
        if field.name in target_df.columns
    ]
    # 返回转换后的DataFrame
    return target_df.select(*transformed_cols)

结合你的示例使用 #

假设你的df1和df2已经创建完成，直接调用函数即可：

# 应用df1的Schema到df2
df2_transformed = apply_schema(df1, df2)

# 查看转换后的Schema
df2_transformed.printSchema()

输出结果会和df1的Schema完全一致：

root
 |-- A: date (nullable = true)
 |-- B: integer (nullable = true)
 |-- C: string (nullable = true)

补充说明 #

1. 列名匹配校验：函数里加了if field.name in target_df.columns的判断，避免df1存在df2没有的列时报错，如果你确定两个DataFrame列名完全一致，可以去掉这个判断提升效率。
2. Nullable属性同步：如果需要同步列的nullable属性，可以在转换后额外设置（Spark 3.0+支持通过withColumn指定该参数），不过大部分场景下类型一致就满足需求。
3. 复杂类型处理：这个方法同样支持Struct、Array等复杂数据类型，不需要额外修改代码，field.dataType会自动获取对应的复杂类型定义。

对比你之前的逐列转换方式，这个函数可以轻松处理几十上百列的场景，完全不用重复编写withColumn代码。

内容的提问来源于stack exchange，提问作者Harris