You need to enable JavaScript to run this app. 使用基于Pandas两列构建的线性回归模型填充DataFrame的NaN值的更优实现
优惠活动
大模型
产品
解决方案
定价
更多

使用基于Pandas两列构建的线性回归模型填充DataFrame的NaN值的更优实现

逐行apply方案的效率优化方法

你当前写的逐行apply方案能跑通,但效率偏低,核心瓶颈非常明确:

  • 哪怕全表里只有寥寥几个缺失值,也要把所有行逐一遍历进lambda循环
  • 每碰到一个缺失值就单独调一次模型的predict,而sklearn的LinearRegression本身是针对批量矩阵运算优化的,逐行调用会反复触发输入格式校验、数组封装的固定开销,样本量越大这个额外耗时越明显。

高优实现思路

根本不需要逐行跑逻辑,只对有缺失值的行做一次批量预测,再把结果塞回原表就行,完全跳过所有非缺失行的无效循环:

  1. 用布尔掩码直接定位到目标列是NaN的行
  2. 把这些缺失行对应的模型输入特征提出来,整理成模型要求的二维输入格式
  3. 一次性把所有待预测的特征传给模型,拿到整批的预测值
  4. 用.loc直接把预测值赋值回原表的缺失位置

可直接替换的优化代码

# 定位petal length列的缺失行
na_mask = iris_df["petal length (cm)"].isna()

# 提取缺失行对应的petal width特征,适配模型的二维输入要求
missing_input = iris_df.loc[na_mask, "petal width (cm)"].values.reshape(-1, 1)

# 批量生成所有需要填充的预测值
predict_vals = lin_reg.predict(missing_input)

# 将预测值写回原表的缺失位置
iris_df.loc[na_mask, "petal length (cm)"] = predict_vals

效率差异说明

  • 举个实际场景的例子:10万行的数据集里只有10个缺失值,原方案要跑10万次逐行lambda循环,再单独触发10次单样本的predict调用
  • 优化后的方案只做一次缺失值筛查、一次10样本的批量predict调用,没有逐行循环逻辑,同等场景下运行速度通常能快上百倍
  • 逻辑完全可以复用:如果后续要填充的缺失列是petal width,只需要把掩码判断的列、提取的特征列互换就行,整套流程不用改

小提示:批量预测的输出长度和缺失行的数量是天然对齐的,pandas的.loc赋值会自动完成位置匹配,不需要额外做逐行值校验。

内容的提问来源于stack exchange,提问作者haneulkim

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 12:45:04