本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
在使用梯度下降法求解逻辑回归时，需要用来逻辑回归损失函数的梯度公式
本文讲解逻辑回归损失函数的梯度公式，以及梯度公式的详细推导过程
通过本文，可以知道逻辑回归损失函数的梯度公式以及它的是如何推导出来的
本节讲解逻辑回归损失函数的梯度公式，以及推导过程
逻辑回归损失函数-梯度公式
逻辑回归的损失函数为：
逻辑回归损失函数的梯度公式如下：
其中
：矩阵, N样本数, M为特征个数
即一行为一个样本,一列为一特征
：的列向量
：的列向量,
p实际就是逻辑回归模型的预测值
逻辑回归损失函数-梯度公式的推导过程
逻辑回归的损失函数的梯度(即一阶偏导）推导过程如下：
一、单个分量的偏导
由于逻辑回归的损失函数为：
它对单个分量 的偏导：
代表 第i个样本第j个特征的 x 数据
//
---- 用矩阵形式替换连加形式 -----------
这里的 即第j个特征的数据
二、整体的偏导
根据单个分量的偏导形式，可得到整体偏导如下：
其中
：矩阵, N样本数, M为特征个数
即一行为一个样本,一列为一特征
：的列向量
：的列向量,
由此即可得到逻辑回归损失函数的梯度公式~
好了，以上就是逻辑回归损失函数的梯度推导了~
End
评论