Spark中如何从StructType生成DDL字符串适配from_csv且兼容Spark Connect？

方案1：使用Spark 3.4+官方API（推荐） #

如果你的PySpark版本是3.4或更高，StructType已经内置了toDDL()方法，可以直接生成符合要求的DDL字符串，完全兼容Spark Connect：

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

# 定义示例StructType
schema = StructType([
    StructField("user_id", IntegerType(), nullable=False),
    StructField("user_name", StringType(), nullable=True)
])

# 直接生成DDL字符串
ddl_str = schema.toDDL()
# 输出：user_id:int,user_name:string

这个方法是官方原生支持，无需自定义逻辑，稳定性和兼容性都有保障。

方案2：自定义转换函数（兼容低版本Spark） #

如果你的Spark版本低于3.4，可以手动实现一个递归转换函数，遍历StructType的字段及嵌套类型，生成对应的DDL字符串。该方法纯Python实现，不依赖底层Java接口，适配Spark Connect：

from pyspark.sql.types import (
    StructType, StructField, StringType, IntegerType,
    ArrayType, MapType, DoubleType, BooleanType
)

def struct_to_ddl(schema: StructType) -> str:
    def parse_data_type(dt):
        # 处理嵌套结构体
        if isinstance(dt, StructType):
            field_defs = [f"{f.name}: {parse_data_type(f.dataType)}" for f in dt.fields]
            return f"struct<{','.join(field_defs)}>"
        # 处理数组类型
        elif isinstance(dt, ArrayType):
            elem_type = parse_data_type(dt.elementType)
            return f"array<{elem_type}>"
        # 处理Map类型
        elif isinstance(dt, MapType):
            key_type = parse_data_type(dt.keyType)
            val_type = parse_data_type(dt.valueType)
            return f"map<{key_type},{val_type}>"
        # 处理基本数据类型
        else:
            return dt.simpleString()
    
    # 拼接所有字段的DDL定义
    field_strings = [f"{field.name}: {parse_data_type(field.dataType)}" for field in schema.fields]
    return ",".join(field_strings)

# 示例使用
sample_schema = StructType([
    StructField("id", IntegerType(), False),
    StructField("tags", ArrayType(StringType()), True),
    StructField("props", MapType(StringType(), IntegerType()), True),
    StructField("profile", StructType([
        StructField("age", IntegerType()),
        StructField("is_active", BooleanType())
    ]), True)
])

ddl = struct_to_ddl(sample_schema)
# 输出：id:int,tags:array<string>,props:map<string,int>,profile:struct<age:int,is_active:boolean>

生成的DDL字符串可以直接传入from_csv的schema参数使用，完全适配Spark Connect的使用场景。

内容的提问来源于stack exchange，提问作者BelowZero