Python中全批量、随机及小批量梯度下降(线性回归)实现问询
梯度下降算法实现相关疑问
我目前正在理解并尝试在Python中实现全批量(Full Batch)、**随机(Stochastic)及小批量(Mini Batch)**梯度下降算法,用于线性回归任务:
- 我使用
sklearn.linear_model.SGDRegressor编写代码后得到的结果,和一篇机器学习教程中的结果十分相似,因此我认为这部分实现没有问题。 - 不过在编写另一部分自定义代码并得到结果后,结合梯度下降的理论知识,我产生了一些疑问:
麻烦你补充一下具体的疑问点哦——比如是不同批量策略下收敛速度的差异不符合预期?自定义实现的损失波动和理论不符?还是和sklearn结果存在无法解释的偏差?把具体问题描述清楚,我就能帮你深入分析啦!
内容的提问来源于stack exchange,提问作者Dejan Samardžija
相关产品推荐
相关产品推荐

