本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
线性回归是一个最简单与最基本的机器学习模型，
本文讲解线性回归是什么、线性回归的损失函数与求解方法
本节讲解线性回归模型的思想与及几何意义
线性回归-模型思想与意义
线性回归模型思想
线性回归模型是希望找到一条直线(平面或超平面)去拟合采到的样本数据点
最佳拟合时，直线与样本的总均方误差最小
线性回归的几何意义
在x为一维时，y与x组成二维平面，几何意义如下理解：
线性回归模型以一条直线拟合数据
拟合原则是总均方误差最小
本节介绍线性回归模型的数学表达式与损失函数
线性回归模型数学表达式与损失函数
模型表达式
线性回归模型的数学表达式如下
损失函数
线性回归的损失函数为模型预测值与真实值的均方差，如下
备注：上标 (i) 代表第i个样本,m为样本个数，n为变量个数
线性回归模型数学表达式与损失函数-矩阵形式
为书写方便，一般将线性回归的模型表达式、损失函数写成矩阵形式，则如下：
模型表达式
线性回归模型表达式的矩阵形式如下：
备注：这里的X是原变量再加上一列常数1:
损失函数
线性回归损失函数的矩阵形式如下：
✍️注意：关于矩阵形式里X的常数列
矩阵形式里对原始X增加了一列常数1，
同时，W的元素会比原来增加一个，
这样的目的相当于把 b揉进了W里
本节讲解线性回归模型的求解方法，
包括最小二乘解公式以及如何利用QR分解优化最小二乘解的计算难度
线性回归模型的求解-简述
线性回归问题实际就是最小二乘解问题，可以直接使用最小二乘解公式，
但实际更多是使用QR分解的方式，避开最小二乘解中复杂的逆矩阵计算
下面简单介绍求解的公式，具体的公式推导见《最小二乘解》
最小二乘解公式
模型的求解直接使用最小二乘法求解就可以
最小二乘法的求解公式如下：
使用该公式即可求得令损失函数L(W)取得最小值的W。
QR分解优化最小二乘解
在实际使用计算机求解最小二乘解时，往往并不是直接使用最小二乘解公式，
主要是因为最小二乘解公式需要求的逆矩阵，这样计算较为复杂
更为普遍的一个方法是使用QR分解方法计算最小二乘解
QR分解方法求解最小二乘解
QR分解方法求解最小二乘解的计算过程如下：
1.对X 进行QR分解
对 X 进行QR分解，得到矩阵Q和R，
如下：
其中
Q列与列之间两两正交，
R则为非奇异上三角矩阵
2.使用公式求解W
使用以下公式解得W：
从上述公式可以看出，求解时只需求解R的逆矩阵，
而R是一个上三解矩阵，它的逆比的逆更容易求取
✍️注意事项
不一定满秩，也就不一定有逆矩阵，以上求解方法将失效
End
