如何从已有Schema高效创建仅含指定30个字段的DataFrame？

问题背景 #

我有一个包含80个字段的Spark Schema：

schema = StructType(
    [
        StructField("COUNTRY", StringType(), False),
        StructField("ID", StringType(), False),
        StructField("DATE", DateType(), False),
        ... # 剩余77个字段
    ]
)

现在需要基于这个Schema创建一个只包含其中30个指定字段的DataFrame，当前手动逐个写字段键值对和指定Schema子集的方式效率很低，有没有更优的实现方案？

当前低效实现：

created_df_with_only_few_fields_from_the_schema = self.create_df(
    [
        {
            "COUNTRY": "Germany",
            ... # 手动写另外29个字段的键值对
        }
    ],
    schema["ID","DATE",... # 手动列出30个字段名]
)

优化方案 #

1. 定义目标字段列表

先把需要保留的30个字段名统一存到列表里，避免重复手写：

target_fields = ["COUNTRY", "ID", "DATE", ...] # 填入30个目标字段名

2. 生成目标Schema子集

从原Schema中过滤出目标字段对应的结构，自动生成新的Schema：

target_schema = StructType([field for field in schema.fields if field.name in target_fields])

3. 自动生成数据字典（可选）

如果需要给目标字段填充默认值，不用手动逐个写键值对，可根据字段类型自动生成：

# 示例：字符串类型默认空字符串，日期/其他类型默认None，可按需调整规则
default_data = {
    field.name: "" if isinstance(field.dataType, StringType) else None
    for field in target_schema.fields
}
# 个别字段需要特定值时，直接覆盖即可
default_data["COUNTRY"] = "Germany"

4. 创建目标DataFrame

用生成好的目标Schema和数据字典创建DataFrame：

created_df = self.create_df([default_data], target_schema)

方案优势 #

• 避免重复手写字段名，减少出错概率
• 后续调整目标字段时，只需修改target_fields列表，无需改动多处代码
• 自动生成数据字典的方式，在字段较多时能大幅节省手动编写的时间

内容的提问来源于stack exchange，提问作者QbS