PySpark如何向已有DataFrame新增列？是否支持类似Pandas的inplace操作？

PySpark 的 DataFrame 从底层设计上就是不可变（immutable）的分布式逻辑执行计划，所有转换操作都不会修改原对象本身，只会返回携带新转换逻辑的DataFrame实例，这是和Pandas单机DataFrame最核心的设计差异。

操作失效的底层逻辑 #

直接调用customerDf.withColumn(...)却不接收返回值的写法，本质上是临时生成了一个带新增列逻辑的新DataFrame对象，这个对象没有被任何变量持有，方法执行完成后就会被垃圾回收，原customerDf的结构从头到尾没有发生任何改动，所以后续调用customerDf.show()自然看不到新增的列。

贴近“原地修改”体验的常用写法 #

不需要为了不新建变量而纠结，PySpark的转换操作是懒执行的，复用原变量名接收返回值没有任何额外的计算或内存开销，写法上和原地修改的使用体验完全一致：

# 直接把原变量的引用指向新生成的带列的DataFrame即可
customerDf = customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))
customerDf.show() # 此时就能看到新增的fullname列

关键认知澄清 #

• 哪怕用上述变量复用的写法，被覆盖引用之前的旧版DataFrame也不会发生任何结构改动，如果有其他变量提前指向了旧的DataFrame，那这个变量对应的对象依然是没有新增列的原始结构，这就是不可变设计的核心特征。
• PySpark之所以采用不可变设计，是为了支撑跨节点分布式计算的血缘追踪、执行计划全局优化，从根上就没有预留任何可以直接修改原DataFrame结构的API，不存在Pandas式inplace=True的等价实现。

内容的提问来源于stack exchange，提问作者MichaelYonas