老饼讲解-机器学习 机器学习 神经网络 深度学习
降维算法

【模型】FA因子分析模型介绍

作者 : 老饼 发表日期 : 2023-01-25 20:14:57 更新日期 : 2023-05-30 18:47:18
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



因子分析是常用的降维算法之一,它主要从表现数据中分解出更少隐藏因子,从而起到降维的作用

本文讲解因子分析的模型及思想,通过本文,了解因子分析解决什么问题及其模型表达式




    01. 因子分析的思想    


本节讲解因子分析的思想及目的是什么


    因子分析的目的   


现有k个隐变量
这k个隐变量先经过权重进行线性组合,
然后加上一个阈值和一个随机噪声变量就生成一个
依此方式,共生成n个,即最终生成了

备注:每个生成过程中,隐变量的组合权重和阈值、噪声都是不同的
上述关系的数学表述如下 
 
其中
 为1*n向量
  为1*k行向量        
 为k*n矩阵          

  x是我们能观察到的,h是观察不到的,
因子分析的目标就是从能观察到的x中倒推出隐因子h 



    场景举例    


 有k个声源,放了n台录音机,则每台录音机收到的声音,都由这k个声源并加上噪声组成
上述h就是这k个声源,W的每一列代表第i台收音机收取这k个声源时的权重,
就代表第i台收音机的噪声,
现要从录音机收到的声音中,分解出各个声源(小红的歌声、小李的讲话声等等)





    02. 因子分析模型    


本节讲解因子分析的模型及其表达式


    因子分析的假设   


直接从分解出是有困难的,
因此因子分析作了如下假设
👉  服从“期望为,协方差为单位矩阵”的正态分布     
 👉   服从“期望为,协方差为对角矩阵”的正态分布       
即 
                          
 ,D为对角矩阵    
不妨将其记为
 ,,




   关于h的概率   


h的分布
由于的关系为 
服从正态分布,服从期望为0的正态分布
根据《线性加噪高斯分布的分析》可知,
在知道x时,h将服从正态分布,且期望与协方差如下:
 
 
                                                
 
化简h的分布
将假设条件 ,,代入其中进行化简
可得
  
   
                                                     

h的概率

综上可知,在知道x时,h的概率为

 
  其中
 
                             




    因子分析的模型   


因子分析模型思想
由上可知,要从x中分解出h,
只需求得在知道x时,h取何值的概率最大
从数学角度来说,
就是h取何值能令
最大,即求的驻点

驻点求解

 由于的驻点与的驻点一致,
为简单起见,这里求的驻点

     
 
 的偏导为
 


令其为0,即有
 
 

因子分析的模型
可知,当知道x时,的概率最大,因此
 

上式就是因子分析的模型,
其中的则仍需进一步用数据进行估计




   本文总结   


本节对全文进行简单回顾与总结


    因子分析模型总结   


因子分析要解决的问题
当我们所能观察到的是由隐因子线性组合而成并受噪声叠加时
 
即 

我们需要从观察到的x中倒推出隐因子h

因子分析的模型表达式
因子分析假设
                          
 ,D为对角矩阵   
从而得到在知道x的条件下,h的概率为 

 
  其中
 
                           

进一步求其驻点,就得到h最可能的取值为

 

而其中的则需进一步用历史数据进行估计








 End 








联系老饼