PySpark中如何将Struct列转为字符串保存至CSV/TSV？

问题场景 #

我多次遇到这类问题，明明应该很简单的操作却找不到清晰答案——如何在PySpark中将Struct列保存到CSV/TSV？ 我希望把Struct列序列化为JSON格式存储。

我有一个从Parquet读取的DataFrame，Schema如下：

timestamp:long
timezoneOffset:string
dayInterval:integer
speed:double
heading:double
ignitionStatus:integer
segmentId:string
pointMM:struct
    mmResult:array
        element:struct
            primitiveId:long
            rnId:integer
            internalId:integer
            isFromTo:boolean
            offset:double
            probability:double
            distanceToArc:double
            headingDifference:double
    isSuccessful:boolean

其中pointMM是包含结构体数组和布尔字段的Struct列。尝试直接保存到TSV时触发错误：

df.write.csv(output_path, sep='\t')

错误信息：

AnalysisException: CSV data source does not support struct<mmResult:array<struct<primitiveId:bigint,rnId:int,internalId:int,isFromTo:boolean,offset:double,probability:double,distanceToArc:double,headingDifference:double>>,isSuccessful:boolean> data type.

我的疑问：

• 有没有简便方法把pointMM转为JSON字符串后保存到TSV？
• 能否通过显式指定Schema实现？或者最好是无需提前知晓Schema的通用方法？
• 既然display()函数能把Struct列序列化为JSON展示，能不能复用这个逻辑而不用自己重新实现？
• printSchema()能展示DataFrame的Schema，能不能借助它来序列化Struct列？

核心解决方案：用to_json函数序列化Struct列 #

PySpark内置的to_json函数可以直接将Struct、Array等复杂类型列转为JSON字符串，完全不需要手动指定Schema，是通用且高效的方案。

步骤1：转换Struct列为JSON字符串 #

from pyspark.sql.functions import to_json

# 替换原pointMM列为JSON格式字符串
df_with_json = df.withColumn("pointMM", to_json("pointMM"))

# 或者新增JSON列、删除原Struct列（按需选择）
# df_with_json = df.withColumn("pointMM_json", to_json("pointMM")).drop("pointMM")

步骤2：保存为TSV #

此时所有列都是CSV/TSV支持的简单类型，直接执行保存即可：

df_with_json.write.csv(output_path, sep='\t', header=True)

疑问解答 #

1. 无需显式指定Schema：to_json会自动识别列的嵌套结构并完成序列化，不管Struct内部层级多复杂都能处理，完全不需要提前知晓Schema细节。
2. 关于复用display()逻辑：display()底层确实依赖类似的序列化逻辑，但PySpark并未暴露该内部方法供外部调用。不过to_json是官方提供的成熟API，序列化效果和display()展示的JSON格式完全一致，直接使用即可。
3. printSchema()无法用于序列化：printSchema()仅用于输出Schema的文本描述，不具备序列化列的能力，to_json才是处理这类需求的最优选择。

内容的提问来源于stack exchange，提问作者Alcibiades