本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
由于Lasso回归在损失函数中引入了一范正则项，无法像线性回归、岭回归一样直接用公式求解，
因此Lasso的求解算法一般使用的是坐标下降法，本文展示使用坐标下降法求解Lasso回归的算法流程和相关公式
本节介绍Lasso回归使用的求解算法
Lasso回归的模型求解方法
Lasso回归的求解方法
与线性回归、岭回归不同，Lasso以1范数作为正则项，
因此不再用线性方程求解求得精确解，Lasso用得更多的是“坐标下降法”求解
什么是坐标下降法
坐标下降法简单来说，就是每次只调整一个参数，
在其它参数不变的情况下，将该参数调整到最优的位置
然后不断迭代，直到满足迭代条件
本节展示坐标下降法求解Lasso的算法流程
坐标下降法求解流程
使用坐标下降法求解Lasso的流程如下:
1、 初始化解全为 0
2、 循环迭代, 每次将一个w调整为最优w(可按顺序选择w,也可随机)
最优w的求法：求损失函数对该w的导数,令导为0,即可求得最优w
3、 直到满足终止训练条件，退出迭代
终止条件为：
(1) 达到最大迭代次数,
(2) (最大的|w| = 0 或者 w 的变化率极微小)且对偶间隙极小
备注：流程描述只描述主要思想，具体落地仍需参考代码
关于坐标下降法求解Lasso中的相关公式
在坐标下降法求解Lasso中，每次只迭代一个参数,
对于第i个参数的 的迭代公式 如下：
或
其中
,且要求
✍️公式的详细推导参见《 Lasso迭代公式推导 》
End