PySpark计算列空值占比报TypeError，期望结果为23.25

错误原因 #

你用了Pandas的操作逻辑处理PySpark DataFrame，两者API不兼容：

• PySpark DataFrame不能直接用df['A']的方式取列，也不支持shape[0]获取行数
• Python内置的round函数无法直接处理PySpark的Column运算结果，导致类型不匹配错误

解决方案 #

方法一：纯PySpark API实现（推荐，适配大数据场景） #

用PySpark的SQL函数完成分布式计算，全程适配PySpark的DataFrame操作：

from pyspark.sql import functions as F

# 计算空值占比并保留两位小数
null_percentage = df_Webinar.select(
    F.round(
        (F.sum(F.col("A").isNull().cast("int")) / F.count("*")) * 100,
        2
    ).alias("A_null_percentage")
).collect()[0][0]

print(null_percentage)  # 输出结果如23.25

• F.col("A").isNull().cast("int")：将空值转为1，非空值转为0，求和后得到空值总数
• F.count("*")：获取DataFrame的总行数
• F.round(..., 2)：用PySpark内置的round函数保留两位小数
• collect()[0][0]：将分布式计算的结果提取为Python数值

方法二：转为Pandas DataFrame计算（仅适用于小数据集） #

如果数据量较小，可以先转成Pandas DataFrame，再用你熟悉的逻辑计算：

# 转为Pandas DataFrame（大数据量不推荐，会把数据拉到本地）
pandas_df = df_Webinar.toPandas()
null_percentage = round((pandas_df['A'].isnull().sum() / len(pandas_df)) * 100, 2)

print(null_percentage)  # 输出结果如23.25

内容的提问来源于stack exchange，提问作者Pranav167