Python实现线性判别分析(LDA)的MATLAB方式
本文详细解析线性判别分析（LDA）的核心思想、与PCA的区别及具体计算步骤，并通过MATLAB与Python代码对比，展示如何在Python中复现LDA算法。内容涵盖类内散度矩阵、类间散度矩阵的计算及投影方向求解，适用于二分类及多分类场景的降维与分类任务。
线性判别分析（LDA）概述
线性判别分析（Linear Discriminant Analysis，简称LDA），也被称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别领域中一种经典的算法。
LDA核心思想与PCA对比
其核心思想是将高维样本投影到一个最佳的鉴别矢量空间，从而在抽取分类信息的同时压缩特征空间的维度。投影的目标是使样本在新子空间中拥有最大的类间距离和最小的类内距离，从而获得最佳的可分离性。
LDA与主成分分析（PCA）的主要区别在于：PCA主要基于特征的协方差矩阵寻找最佳投影方式，保留的特征维度可由用户自行选择；而LDA则更多地考虑了类别标签信息，旨在使投影后不同类别的数据点间距最大化，同一类别的数据点更加紧凑。
从可视化结果可以看出，经过LDA投影后，不同类别的数据点通常能够被有效区分开来。
因此，LDA是一种有监督的降维方法，其目标是选择最佳的投影方向以优化分类效果；相比之下，PCA是一种无监督的降维技术，仅关注如何在降维后最大程度地保留样本信息，而不考虑类别标签。
LDA降维维度与正交性
LDA降维后的维度与类别数量直接相关，而与原始数据的维度无关。若存在C个类别，LDA降维后的维度通常选择为C-1维。对于许多二分类问题，LDA降维后仅剩余一维，此时只需确定一个最优分类阈值即可完成分类。
关于投影坐标系的正交性问题：
PCA的投影坐标系通常是正交的，而LDA基于类别标注，主要关注分类能力，因此不要求投影方向正交，且一般情况下的投影方向并不正交。
LDA计算步骤详解
LDA的具体计算步骤如下：
首先，计算各个类别的样本均值。
需要注意的是，在分别计算每个类别的类间散度矩阵Sbi或类内散度矩阵Swi后，计算总体类间散度矩阵Sb和类内散度矩阵Sw时，需要进行加权平均，这是因为不同类别中的样本数量可能不同。
作为分类算法，LDA期望类内聚合度高（即类内散度矩阵小）且类间散度矩阵大，从而实现良好的分类效果。为此，引入Fisher鉴别准则表达式来衡量这一目标。
最优投影方向由矩阵inv(Sw)Sb的特征向量决定，且最优投影轴的个数d应小于等于C-1。
因此，只需计算出矩阵inv(Sw)Sb的最大特征值所对应的特征向量，该特征向量即为投影方向W。
最后，计算各样本点在投影方向上的投影点坐标。
MATLAB与Python代码实现
以下是MATLAB的实现代码：
%这是训练数据集
%2.9500 6.6300 0
%2.5300 7.7900 0
%3.5700 5.6500 0
%3.1600 5.4700 0
%2.5800 4.4600 1
%2.1600 6.2200 1
%3.2700 3.5200 1
X=load('22.txt');
pos0=find(X(:,3)==0);
pos1=find(X(:,3)==1);
X1=X(pos0,1:2);
X2=X(pos1,1:2);
hold on
plot(X1(:,1),X1(:,2),'r+','markerfacecolor', [ 1, 0, 0 ]);
plot(X2(:,1),X2(:,2),'b*','markerfacecolor', [ 0, 0, 1 ]);
grid on
%输出样本的二维分布
M1 = mean(X1);
M2 = mean(X2);
M = mean([X1;X2]);
%第二步：求类内散度矩阵
p = size(X1,1);
q = size(X2,1);
a=repmat(M1,4,1);
S1=(X1-a)'*(X1-a);
b=repmat(M2,3,1);
S2=(X2-b)'*(X2-b);
Sw=(p*S1+q*S2)/(p+q);
%第三步：求类间散度矩阵
sb1=(M1-M)'*(M1-M);
sb2=(M2-M)'*(M2-M);
Sb=(p*sb1+q*sb2)/(p+q);
bb=det(Sw);
%第四步：求最大特征值和特征向量
[V,L]=eig(inv(Sw)*Sb);
[a,b]=max(max(L));
W = V(:,b);%最大特征值所对应的特征向量
%第五步：画出投影线
k=W(2)/W(1);
b=0;
x=2:6;
yy=k*x+b;
plot(x,yy);%画出投影线
%计算第一类样本在直线上的投影点
xi=[];
for i=1:p
y0=X1(i,2);
x0=X1(i,1);
x1=(k*(y0-b)+x0)/(k^2+1);
xi=[xi;x1];
end
yi=k*xi+b;
XX1=[xi yi];
%计算第二类样本在直线上的投影点
xj=[];
for i=1:q
y0=X2(i,2);
x0=X2(i,1);
x1=(k*(y0-b)+x0)/(k^2+1);
xj=[xj;x1];
end
yj=k*xj+b;
XX2=[xj yj];
% y=W'*[X1;X2]';
plot(XX1(:,1),XX1(:,2),'r+','markerfacecolor', [ 1, 0, 0 ]);
plot(XX2(:,1),XX2(:,2),'b*','markerfacecolor', [ 0, 0, 1 ]);
以下是Python的实现代码：
import numpy as np
import matplotlib.pyplot as plt
X=np.loadtxt("22.txt")
pos0=np.where(X[:,2]==0)
print(pos0)
pos1=np.where(X[:,2]==1)
print(pos1)
X1=X[pos0,0:2]
X1=X1[0,:,:]
print(X1,X1.shape)
X2=X[pos1,0:2]
X2=X2[0,:,:]
print(X2,X2.shape)
#第一步，求各个类别的均值
M1=np.mean(X1,0)
M1=np.array([M1])
print(M1,M1.shape)
M2=np.mean(X2,0)
M2=np.array([M2])
print(M2)
M=np.mean(X[:,0:2],0)
M=np.array([M])
print(M)
p=np.size(X1,0)
print(p)
q=np.size(X2,0)
print(q)
#第二步，求类内散度矩阵
S1=np.dot((X1-M1).transpose(),(X1-M1))
print(S1)
S2=np.dot((X2-M2).transpose(),(X2-M2))
print(S2)
Sw=(p*S1+q*S2)/(p+q)
print(Sw)
#第三步，求类间散度矩阵
Sb1=np.dot((M1-M).transpose(),(M1-M))
print(Sb1)
Sb2=np.dot((M2-M).transpose(),(M2-M))
print(Sb2)
Sb=(p*Sb1+q*Sb2)/(p+q)
print(Sb)
#判断Sw是否可逆
bb=np.linalg.det(Sw)
print(bb)
#第四步，求最大特征值和特征向量
[V,L]=np.linalg.eig(np.dot(np.linalg.inv(Sw),Sb))
print(V,L.shape)
list1=[]
a=V
list1.extend(a)
print(list1)
b=list1.index(max(list1))
print(a[b])
W=L[:,b]
print(W,W.shape)
#根据求得的投影向量W画出投影线
k=W[1]/W[0]
b=0;
x=np.arange(2,10)
yy=k*x+b
plt.plot(x,yy)
plt.scatter(X1[:,0],X1[:,1],marker='+',color='r',s=20)
plt.scatter(X2[:,0],X2[:,1],marker='*',color='b',s=20)
plt.grid()
plt.show()
#计算第一类样本在直线上的投影点
xi=[]
yi=[]
for i in range(0,p):
y0=X1[i,1]
x0=X1[i,0]
x1=(k*(y0-b)+x0)/(k**2+1)
y1=k*x1+b
xi.append(x1)
yi.append(y1)
print(xi)
print(yi)
#计算第二类样本在直线上的投影点
xj=[]
yj=[]
for i in range(0,q):
y0=X2[i,1]
x0=X2[i,0]
x1=(k*(y0-b)+x0)/(k**2+1)
y1=k*x1+b
xj.append(x1)
yj.append(y1)
print(xj)
print(yj)
#画出投影后的点
plt.plot(x,yy)
plt.scatter(X1[:,0],X1[:,1],marker='+',color='r',s=20)
plt.scatter(X2[:,0],X2[:,1],marker='>',color='b',s=20)
plt.grid()
plt.plot(xi,yi,'r+')
plt.plot(xj,yj,'b>')
plt.show()
以上介绍了使用Python实现线性判别分析（LDA）的方法，并与MATLAB实现进行了对比，希望能对读者有所帮助。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
