机器学习-入门

矩阵SVD分解

作者 : 老饼 发表日期 : 2023-01-20 00:41:34 更新日期 : 2023-11-09 14:08:48
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com


SVD分解是机器学习中常用的矩阵分解手段

本文介绍SVD分解的定义及意义,从本文可以初步认识SVD是个什么东西



    01. SVD分解的定义    


本节初步介绍什么是SVD分解及其定义


   什么是SVD分解   


SVD全称为Singular Value Decomposition奇异值分解,
可以算是方阵特征分解在非方阵上的拓展
它与方阵的矩阵对角化、特征值相对应,弥补非方阵不能特征值分解的不足



   SVD定义   


m*n矩阵A,将其分解为、 和 三个矩阵,如下 

其中,
 是m*m的酉矩阵            
 是m*n半正定对角矩阵   
  是n*n的酉矩阵            
(1) 通常 对角元素由大到小排序,这样  和是唯一的
(2) 对角线上的元素称为A的奇异值                                              
这样的分解与方阵的奇异值分解相对应,属于基于方阵奇异值分解的拓展





  02. SVD分解的意义   


本节讲解SVD分解出来的U、Σ、V的意义,及几何意义


   U、Σ、V的意义   


    由易得:
                                                                   


 值得注意的是:
👉与 都是对称方阵                              
 👉
 分别是的对角矩阵             
由以上两式可易知
 分别是  的  对角化矩阵
也即  为 的特征向量组成的矩阵      
       为的特征向量组成的矩阵,   
  对角元素是两者特征值的开方   



    SVD的几何意义    


与方阵的对角化相对应,
SVD也是提供了以变换的角度来看待非方阵矩阵A的本质

 知识准备
从 可得:   
(1)        
(2)  
 (2)式的推导过程如下
 
需要注意的是,
 U和V都是酉矩阵,都可以代表一组正交标准基。
 U 代表一个m维空间的正交标准基 
V 代表一个n维空间的正交标准基
A作为变换的意义
 从  可知,
A把V所代表的n维空间的每个基,
映射到U所代表的m维空间中m个基中的n个基,并作伸缩

作为变换的意义
同样的,从可知
 把 U  所代表的m维空间的m个基,
映射到 V 所代表的n维空间的每个基,
其中,
但在 U中只有前n个基,
分别一一对应 V中的n个基,并且 作 伸缩
而其余的则映射到0中

  


   







 End 







联系老饼