线性分类器在联合算法当中性能和不稳定性如何描述?

网友回答

这个问题不算很前沿,但是相当深奥,在目前国际上存在一定争议,接受比较广泛的定义是一个基于实验的研究文献,我的答案源于翻译的文献,您在SCI当中搜索线性分类器联合算法,影响因子最大的就是它的原文.
研究线性分类器联合技术的有用性与它们的不稳定性和训练样本之间的关系,让我们考虑一些线性分类器.最流行也是最普遍的是费希尔线性判别（FLD）和最近均值分类器（NMC）,也被叫做欧氏距离分类器.
标准FLD定义为：
gF(x)=x’wF+w0F=[X-1/2(X(1)+X(2))]’S-1(X(1)-X(2))
其中( wF,w0F)是线性判别函数的系数,S是p维协方差矩阵的标准最大似然估计,x是待分类的p维向量,X(i)是类别πi的样本均值向量.
注意到等式1是线性系数(w,w0)的均方误差
gF(x)=w•x+w0=L
其中x∈X,L是理想输出,1对应类别π1,-1对应类别π2.当特征数p超过样本n的时候,协方差矩阵的样本估计S是不可逆的奇异阵.当特征数p增加到n的时候,误差的期望显著增加.
NMC定义为：
gPFLD(x)=(w,w0)•(x,1)=(x,1)(X,I)-1L
它是向量x和样本均值X(i)之间的最小距离.
NMC生成样本均值的中垂线,因而生成一种类似于具有等方差高斯球分布类别的理想线性分类器.这种分类器的优点在于它对于样本数不是很敏感.然而,NMC不考虑方差和协方差.
FLD的修正型让我们避免了病态协方差矩阵的求逆,被称为伪费希尔线性判别（PFLD）.在PFLD中,获得了一种直接解法（通过增广向量）：
gPFLD(x)=(w,w0)•(x,1)=(x,1)(X,I)-1L
其中(x,1)是增广向量,(X,I)是增广矩阵,(X,I) -1是莫奈-罗斯伪逆,给出了最低标准解.在求逆之前数据被转换为零均值,这种方法与奇异值分解密切相关.
作为一个训练样本的函数来研究PFLD的性能不在此讨论,对于每类的一个样本,这种方法等价于最近均值和最近邻准则.对于值n>p的PFLD,所有给定样本的总距离的最大化,等价于FLD.然而,对于值n≤p的情况,伪费希尔决策找到了一个涵盖所有数据的线性空间.在两者之间,PFLD的普遍误差最小,但是随即在n=p处变为最大.这可以理解为在n=p之前,PFLD可以成功的找到所有训练样本的等距离超球面.得到了精确解,但是涵盖了所有的数据误差.在Raudys和Duin的文献当中,从PFLD的普遍误差到处了一个渐进表达式,从理论上解释了PFLD的走势.PFLD的优点在于它简约明了,简单的分类决策,以及考虑到不同的方差.然而,当建立在边界样本的时候,它非常弱并且对噪声很敏感.在这种情况下,不建议作为单一分类器来使用它.不过,由于PFLD普遍误差的峰值现象,这种分类器非常的适合研究维度（样本大小）影响.在这里,将被用作联合技术的基础分类器.
为了更好地理解联合技术何时有益,考虑基础分类器的不稳定性.分类器的不稳定性,通过计算原始训练集的引导副本所引起的测试集分类变动来作为衡量依据.在训练集中重复此过程多次（我们做到了25次）,对结果求平均,可以得到一个该训练集分类不稳定的估计.以这种方式定义的线性分类器平均不稳定性（50个独立训练集）.人们可以看到,当训练样本大小增加的时候分类的不稳定性降低.分类的不稳定性和性能之间的一个关系：更稳定的分类比不太稳定的执行好.然而,在这个例子中,NMC的分类性能并不取决于训练样本的大小.与其他分类相比,在大样本的情况下,随着稳定性增加,它仍然是性能很差的分类器.