PySpark删除列后仍可调用该列？是Bug还是操作有误？

这不是Spark的Bug，是你忽略了Spark延迟执行和列依赖追踪的细节。

核心原因 #

你的代码中，withColumn('num2', my_range.number*2)直接引用了原DataFrame my_range的number列，而非当前正在构建的新DataFrame的列。这会让Spark的逻辑执行计划始终保留对原my_range中number列的依赖——哪怕调用了drop('number')，这个操作只是在最终输出时隐藏该列，但底层执行计划里number列并没有被真正移除，因为num2的计算逻辑依赖它。

当执行new_range.sort('number')时，Spark能从执行计划的依赖链中找到number列，因此不会报错。

验证方法 #

打印new_range的执行计划，就能看到number列依然存在于逻辑计划中：

new_range.explain()

输出结果会显示number列被用于计算num2，之后被Drop操作标记为不输出，但实际数据仍会被处理。

正确写法 #

如果想彻底移除number列的依赖，应使用当前DataFrame的列引用（比如col('number')而非my_range.number）：

from pyspark.sql.functions import col

my_range = spark.range(1000).toDF("number")
new_range = my_range.withColumn('num2', col('number')*2).drop('number')
# 此时执行sort('number')会报错，提示找不到该列
new_range.sort('number')

这种写法下，withColumn依赖的是当前DataFrame的number列，drop之后执行计划里就不会再保留该列的依赖，后续引用会直接报错。

内容的提问来源于stack exchange，提问作者RSHAP