本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
二次型是指xAx^T的形式的函数,当A为对称矩阵时,则是一种特殊形式
本文展示二次型的求导公式,包括A为对称矩阵时的求导公式,并讲解求导公式的推导过程
通过本文,可以快速了解二次型函数的求导公式,以及求导公式是怎么推导出来的
01. 二次型的求导公式与推导
本节讲解二次型函数的求导公式,以及求导公式的推导过程
二次型的求导公式
什么是二次型函数
二次型函数是指如下形式的函数:
f(x)=xAxT=i=1∑nj=1∑naijxixj
其中,x 是行向量,A是对称矩阵
二次型函数的求导公式
当A不是对称矩阵时,它的求导公式如下:
∂x∂f(x)=∂x∂(xAxT)=x∗(A+AT)
如果f是二次型函数(即A是对称矩阵),则可根据上式进行简化
得到二次型的求导公式为:
∂x∂f(x)=∂x∂(xAxT)=2xA
二次型求导公式-推导过程
为方便理解,下面先对x的单个元素求偏导,再按形式推广到x整体元素
对单个元素求偏导
假设对xk求偏导,不妨将连加形式抽成 axk2+bxk+c的形式
f(x)=i=1∑nj=1∑naijxixj=i=1∑n⎝⎛j=1(j=k)∑naijxixj+aikxixk⎠⎞=i=1∑nj=1(j=k)∑naijxixj+i=1∑naikxixk(第一项里的j已经与k无关)=⎝⎛i=1(i=k)∑nj=1(j=k)∑naijxixj+j=1(j=k)∑nakjxkxj⎠⎞+⎝⎛i=1(i=k)∑naikxixk+akkxkxk⎠⎞=akkxk2+⎝⎛i=1(i=k)∑naikxi+j=1(j=k)∑nakjxj⎠⎞xk+i=1(i=k)∑nj=1(j=k)∑naijxixj=akkxk2+⎝⎛i=1(i=k)∑naikxi+i=1(i=k)∑nakixi⎠⎞xk+i=1(i=k)∑nj=1(j=k)∑naijxixj=akkxk2+⎝⎛i=1(i=k)∑n(aik+aki)xi⎠⎞xk+i=1(i=k)∑nj=1(j=k)∑naijxixj
对xk求偏导则有
∂xk∂f(x)====∂xk∂[akkxk2+(i=1(i=k)∑naikxi+j=1(j=k)∑nakjxj)xk+i=1(i=k)∑nj=1(j=k)∑naijxixj]2akkxk+i=1(i=k)∑n(aik+aki)xii=1∑n(aik+aki)xix∗(Ak列+Ak行T)
对x的偏导
根据单个元素偏导的结果,则所有xi的偏导写成矩阵形式为:
∂x∂f(x)=x∗(A+AT)
进一步地,如果是二次型或者对称矩阵,则可简化为:
∂x∂f(x)=2xA
好了,以上就是二次型函数的求导公式以及它的推导过程了~
End