本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
由于Lasso回归在损失函数中引入了一范正则项,无法像线性回归、岭回归一样直接用公式求解,
因此Lasso的求解算法一般使用的是坐标下降法,本文展示使用坐标下降法求解Lasso回归的算法流程和相关公式
本节介绍Lasso回归使用的求解算法
Lasso回归的模型求解方法
Lasso回归的求解方法
与线性回归、岭回归不同,Lasso以1范数作为正则项,
因此不再用线性方程求解求得精确解,Lasso用得更多的是“坐标下降法”求解
什么是坐标下降法
坐标下降法简单来说,就是每次只调整一个参数,
在其它参数不变的情况下,将该参数调整到最优的位置
然后不断迭代,直到满足迭代条件
本节展示坐标下降法求解Lasso的算法流程
坐标下降法求解流程
使用坐标下降法求解Lasso的流程如下:
1、 初始化解全为 0
2、 循环迭代, 每次将一个w调整为最优w(可按顺序选择w,也可随机)
最优w的求法:求损失函数对该w的导数,令导为0,即可求得最优w
3、 直到满足终止训练条件,退出迭代
终止条件为:
(1) 达到最大迭代次数,
(2) (最大的|w| = 0 或者 w 的变化率极微小)且对偶间隙极小
备注:流程描述只描述主要思想,具体落地仍需参考代码
关于坐标下降法求解Lasso中的相关公式
在坐标下降法求解Lasso中,每次只迭代一个参数,
对于第i个参数的 的迭代公式 如下:
或
其中
,且要求
✍️公式的详细推导参见《 Lasso迭代公式推导 》
End