如何在PySpark中实现类似df['col']=1的列单一值填充

错误原因分析 #

• df['col'] = [1,1]是Pandas的语法，PySpark的DataFrame是不可变结构，不支持直接通过这种方式修改或新增列
• df.withColunm('col', 1)存在两个问题：方法名拼写错误（正确应为withColumn），且直接传入常量1不符合PySpark要求——Spark需要将常量转换为Column类型才能识别

正确实现方式 #

需要借助pyspark.sql.functions中的lit()函数，它能将Python常量转换为Spark可识别的列对象，再结合withColumn方法完成列的新增与填充：

from pyspark.sql import SparkSession
from pyspark.sql.functions import lit

# 初始化SparkSession（示例代码）
spark = SparkSession.builder.appName("AddConstantCol").getOrCreate()

# 构建示例DataFrame
sample_data = [(1, "A"), (2, "B")]
df = spark.createDataFrame(sample_data, ["A", "B"])

# 新增col列并为所有行填充值1
df = df.withColumn("col", lit(1))

# 查看结果
df.show()

执行后会得到预期输出：

+---+---+---+
|  A|  B|col|
+---+---+---+
|  1|  A|  1|
|  2|  B|  1|
+---+---+---+

补充说明 #

如果目标列已存在，withColumn会自动覆盖原有列的内容，实现修改列值的效果。

内容的提问来源于stack exchange，提问作者MUNGUASAENG