PySpark小型DataFrame调用.show()方法报错无法展示如何解决

错误触发的核心原因是VectorAssembler默认配置handleInvalid="error"，只要输入的数值列存在空值，执行计算时就会抛出异常。Spark采用懒执行机制，.limit()仅定义了取数规则，向量拼接、数据读取的实际计算是在调用.show()时触发，因此即使仅取少量数据，只要对应行存在空值就会报错。

排查步骤 #

• 执行以下代码查看测试集各数值列的空值计数，确认空值分布：

test.select([F.count(F.when(F.col(c).isNull(), c)).alias(c) for c in numCols]).show()

如果任意列的空值计数大于0，即可确认是空值触发的报错。

解决方法（二选一即可） #

方法1：提前处理数据集空值

在拆分训练测试集后统一处理空值，避免后续算子报错：

• 直接删除含空值的行：

# 同步处理训练集和测试集的空值
train = train.na.drop(subset=numCols)
test = test.na.drop(subset=numCols)

• 填充空值（可根据业务需求选填0、均值、中位数等）：

# 示例：所有数值列空值填充为0
train = train.na.fill(0, subset=numCols)
test = test.na.fill(0, subset=numCols)

方法2：配置VectorAssembler的异常处理规则

初始化VectorAssembler时添加handleInvalid参数，指定空值处理逻辑，无需修改原数据集：

# handleInvalid可选值：
# skip：直接跳过含空值的行
# keep：将空值对应位置的向量值设为NaN，保留当前行
vector_assembler = VectorAssembler(
    inputCols = assemblerInput, 
    outputCol = "vectorAssembler_features",
    handleInvalid = "skip"
)

内容的提问来源于stack exchange，提问作者Nabih Bawazir