使用基于Pandas两列构建的线性回归模型填充DataFrame的NaN值的更优实现
逐行apply方案的效率优化方法
你当前写的逐行apply方案能跑通,但效率偏低,核心瓶颈非常明确:
- 哪怕全表里只有寥寥几个缺失值,也要把所有行逐一遍历进lambda循环
- 每碰到一个缺失值就单独调一次模型的
predict,而sklearn的LinearRegression本身是针对批量矩阵运算优化的,逐行调用会反复触发输入格式校验、数组封装的固定开销,样本量越大这个额外耗时越明显。
高优实现思路
根本不需要逐行跑逻辑,只对有缺失值的行做一次批量预测,再把结果塞回原表就行,完全跳过所有非缺失行的无效循环:
- 用布尔掩码直接定位到目标列是NaN的行
- 把这些缺失行对应的模型输入特征提出来,整理成模型要求的二维输入格式
- 一次性把所有待预测的特征传给模型,拿到整批的预测值
- 用
.loc直接把预测值赋值回原表的缺失位置
可直接替换的优化代码
# 定位petal length列的缺失行 na_mask = iris_df["petal length (cm)"].isna() # 提取缺失行对应的petal width特征,适配模型的二维输入要求 missing_input = iris_df.loc[na_mask, "petal width (cm)"].values.reshape(-1, 1) # 批量生成所有需要填充的预测值 predict_vals = lin_reg.predict(missing_input) # 将预测值写回原表的缺失位置 iris_df.loc[na_mask, "petal length (cm)"] = predict_vals
效率差异说明
- 举个实际场景的例子:10万行的数据集里只有10个缺失值,原方案要跑10万次逐行lambda循环,再单独触发10次单样本的predict调用
- 优化后的方案只做一次缺失值筛查、一次10样本的批量predict调用,没有逐行循环逻辑,同等场景下运行速度通常能快上百倍
- 逻辑完全可以复用:如果后续要填充的缺失列是
petal width,只需要把掩码判断的列、提取的特征列互换就行,整套流程不用改
小提示:批量预测的输出长度和缺失行的数量是天然对齐的,pandas的
.loc赋值会自动完成位置匹配,不需要额外做逐行值校验。
内容的提问来源于stack exchange,提问作者haneulkim
相关产品推荐
相关产品推荐

