PySpark赋值空DataFrame时遇Assertion Error: col should be column问题求助

错误原因 #

withColumn方法的第二个参数必须是Column类型，你直接传入了整数row_count和字符串path，不符合Spark API的参数要求，这是触发断言错误的核心原因。另外代码中emp_RDD未定义，若它是空RDD，创建的初始DataFrame为空，但这不是该错误的直接诱因。

解决方案 #

使用Spark的lit()函数将常量值转换为Column类型，适配withColumn的参数要求。同时注意字段类型匹配：你的Count字段定义为StringType，需要把整数row_count转为字符串后再处理。

修正后的代码 #

首先导入必要的函数和类型：

from pyspark.sql.functions import lit
from pyspark.sql.types import StructType, StructField, StringType

主代码调整：

path = 'xyz/zjx/abc.parquet'  

df_parquet = spark.read.parquet(path)
row_count = df_parquet.count()

# 定义DataFrame结构
columns = StructType([
    StructField('Table', StringType(), True),
    StructField('Count', StringType(), True),
    StructField('Path', StringType(), True)
])

# 若emp_RDD未定义，创建空DataFrame（如果有实际数据可替换为你的RDD）
df = spark.createDataFrame(data=[], schema=columns)

# 用lit()封装常量，转换为Column类型，同时匹配Count字段的字符串类型
df = df.withColumn('Count', lit(str(row_count))).withColumn('Path', lit(path))
df.show()

补充说明 #

• 若emp_RDD原本包含数据，只需保留withColumn部分的lit()修改即可，无需改动DataFrame创建逻辑。
• lit()函数的作用是将Python常量转换为Spark可识别的Column对象，这是Spark中给DataFrame添加常量列的标准方式。

内容的提问来源于stack exchange，提问作者Harsh