kpca算法原理

kpca算法原理

1、

通过核函数计算矩阵 ,其元素为 。其中 和 为原空间的样本, 是核函数。

2、

计算K的特征值,并从大到小进行排列。找出由特征值对应的特征向量 (表示第 个特征向量),并对 进行归一化( )。

3、

原始样本在第 个非主成分下的坐标为: 这里的 是指第i个样本

原理:KPCA是线性的,其对于非线性数据往往显得无能为力(虽然这二者的主要目的是降维,而不是分类,但也可以用于分类),其中很大一部分原因是,KPCA能够挖掘到数据集中蕴含的非线性信息。

一、KPCA较PCA存在的创新点: 1. 为了更好地处理非线性数据,引入非线性映射函数 ,将原空间中的数据映射到高维空间,注意,这个 是隐性的,我们不知道,也不需要知道它的具体形式是啥。 2.引入了一个定理:空间中的任一向量(哪怕是基向量),都可以由该空间中的所有样本线性表示,这点对KPCA很重要,我想大概当时那个大牛想出KPCA的时候,这点就是它最大的灵感吧。话说这和”稀疏“的思想比较像。