这个问题真的戳中了很多实际建模的痛点——咱们做项目的时候，经常要在有限的CPU资源和模型的预测能力之间做艰难权衡。刚好有不少经典统计研究和工程实践总结针对这个问题做了系统对比，我整理一下核心结论和实用建议：

一、传统线性模型：OLS vs L1/L2正则化 #

计算速度对比 #

• OLS：绝对是速度天花板级别的存在，只要特征数不是夸张到上万级，CPU上跑闭式解(X^T X)^{-1} X^T y，几秒就能出结果。就算特征数远多于样本量，改用梯度下降变体，速度依然比L1正则化方法快很多。
• L2正则化（岭回归）：和OLS速度接近，因为它也有闭式解，只是在矩阵里加了一个对角正则项，计算量几乎和OLS持平，CPU上也是秒级到分钟级。
• L1正则化（Lasso）/弹性网：没有闭式解，得用坐标下降、LARS或者SGD迭代求解，特征数越多、正则化强度越低，迭代次数就越多，速度会比OLS/岭回归慢1-2个数量级，比如从几秒变成几十秒甚至几分钟。

模型质量（样本外预测误差）对比 #

• 当数据没有多重共线性、噪声少且线性关系主导时，OLS的样本外误差和正则化模型几乎没差别；但如果存在多重共线性、特征冗余或者过拟合风险，L2能有效降低模型方差，L1还能自动做特征选择，这时候正则化模型的样本外误差会显著低于OLS。
• 经典教材《The Elements of Statistical Learning》里专门做了偏差-方差权衡的对比，结论是正则化通过引入可控的偏差，换来了更低的方差，在高维数据上优势特别明显。不少同行在实际项目里亲测过：当特征数超过样本量3倍以上，Lasso或弹性网的预测性能能甩OLS一条街。

二、神经网络 vs 传统线性最小二乘模型 #

计算速度对比 #

• 神经网络（哪怕是简单的MLP）的训练速度和传统线性模型完全不在一个量级：它需要多次迭代反向传播，还要调batch size、学习率、正则化等超参数，CPU上训练可能要几小时到几天。就算用超简化的浅神经网络（比如只有一层10个隐藏单元的MLP），加上SGD优化，速度也只能勉强接近Lasso，远不如OLS/岭回归。
• 例外情况：如果用预训练的轻量化神经网络，或者针对Tabular数据优化的MLP变体，速度会快一些，但依然比线性模型慢很多。

模型质量对比 #

• 当数据存在复杂非线性关系（比如图像、文本的衍生特征，或者结构化数据里的高阶交互项），神经网络的样本外误差会远低于传统线性模型——毕竟线性模型只能拟合线性关系，而神经网络能捕捉复杂的非线性模式。
• 但如果数据本身是线性或者弱非线性，神经网络反而容易过拟合，样本外误差可能比正则化线性模型还高，而且花了几倍甚至几十倍的训练时间，完全得不偿失。2019年有个针对Tabular数据的大规模对比研究就发现：在结构化表格数据且线性关系主导的场景下，L2正则化的线性回归比简单MLP的预测性能更好，速度快了至少100倍。

三、资源受限场景的最优选择建议 #

• 如果CPU资源紧张、数据集是线性/弱非线性、特征数不多：优先选OLS或岭回归，速度最快，性能完全够用。
• 如果数据有多重共线性或需要自动特征选择：选Lasso或弹性网，速度比神经网络快太多，性能也能满足需求。
• 如果数据存在强非线性，且能接受较长训练时间：从浅MLP开始试起，逐步加深网络，同时一定要加正则化（Dropout、权重衰减）避免过拟合。

内容的提问来源于stack exchange，提问作者Vimal