Python实现K-Means聚类算法：原理、代码与可视化详解

栗子

发布时间：2026-10-13 | 4人浏览过

原创

本文详细解析Python中K-Means聚类算法的实现过程，涵盖算法优缺点、核心思想及关键步骤。通过提供完整的Python代码示例，展示如何加载数据、计算欧氏距离、生成初始质心并迭代优化。同时结合可视化结果，直观展示聚类效果及局部最优问题，帮助开发者深入理解并应用该算法。

算法优缺点：

优点：实现简单直观。缺点：容易陷入局部最小值，且在处理大规模数据集时收敛速度较慢。适用数据类型：仅适用于数值型数据。

算法思想

K-Means算法的核心在于计算样本点之间的距离，依据距离的远近将样本划分到不同的类别中，距离越近的样本归为同一类。

1. 首先确定K值，即期望将数据划分为多少个簇。K值的选择对最终结果影响显著。Ng课程中提到的两种选择方法包括：肘部法则（Elbow Method），即通过观察聚类结果与K值之间的函数关系，寻找效果最佳的K值；另一种是根据具体业务需求确定，例如在衬衫尺寸聚类中，可能直接设定为L、M、S三类。

2. 选择初始聚类点（质心）。通常采用随机策略，代码中实现在数据范围内随机生成点，或者从数据集中随机选取点。质心的选择对最终结果影响巨大，若运气不佳可能导致算法收敛到局部最小值。对此有两种处理策略：一是多次运行取平均值，二是采用改进算法如二分K-Means（Bisecting K-Means）。

3. 进入核心迭代过程。计算数据集中所有点到当前各质心的距离，将每个点分配到距离最近的质心所属的簇。随后，重新计算每个簇中所有点的平均值，将其作为新的质心。重复上述“分配-更新”步骤，直到算法收敛，从而得到最终聚类结果。

函数

loadDataSet(fileName)

从文件中读取数据集

distEclud(vecA, vecB)

计算距离，此处采用欧氏距离，当然其他合理的距离度量方式亦可使用。

randCent(dataSet, k)

随机生成初始质心，此处通过选取数据范围内的随机点来实现。

kMeans(dataSet, k, distMeas=distEclud, createCent=randCent)

K-Means算法主函数，接收数据集和K值作为输入。后两个参数为可选，分别指定距离计算方式和初始质心生成方式。

show(dataSet, k, centroids, clusterAssment)

可视化结果

#coding=utf-8
from numpy import *
def loadDataSet(fileName):
 dataMat = []
 fr = open(fileName)
 for line in fr.readlines():
 curLine = line.strip().split('\t')
 fltLine = map(float, curLine)
 dataMat.append(fltLine)
 return dataMat
#计算两个向量的距离，用的是欧几里得距离
def distEclud(vecA, vecB):
 return sqrt(sum(power(vecA - vecB, 2)))
#随机生成初始的质心（ng的课说的初始方式是随机选K个点） 
def randCent(dataSet, k):
 n = shape(dataSet)[1]
 centroids = mat(zeros((k,n)))
 for j in range(n):
 minJ = min(dataSet[:,j])
 rangeJ = float(max(array(dataSet)[:,j]) - minJ)
 centroids[:,j] = minJ + rangeJ * random.rand(k,1)
 return centroids
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
 m = shape(dataSet)[0]
 clusterAssment = mat(zeros((m,2)))#create mat to assign data points 
     #to a centroid, also holds SE of each point
 centroids = createCent(dataSet, k)
 clusterChanged = True
 while clusterChanged:
 clusterChanged = False
 for i in range(m):#for each data point assign it to the closest centroid
  minDist = inf
  minIndex = -1
  for j in range(k):
  distJI = distMeas(centroids[j,:],dataSet[i,:])
  if distJI < minDist:
   minDist = distJI; minIndex = j
  if clusterAssment[i,0] != minIndex: 
  clusterChanged = True
  clusterAssment[i,:] = minIndex,minDist**2
 print centroids
 for cent in range(k):#recalculate centroids
  ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
  centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean 
 return centroids, clusterAssment
def show(dataSet, k, centroids, clusterAssment):
 from matplotlib import pyplot as plt 
 numSamples, dim = dataSet.shape 
 mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr'] 
 for i in xrange(numSamples): 
 markIndex = int(clusterAssment[i, 0]) 
 plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex]) 
 mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb'] 
 for i in range(k): 
 plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12) 
 plt.show()
def main():
 dataMat = mat(loadDataSet('testSet.txt'))
 myCentroids, clustAssing= kMeans(dataMat,4)
 print myCentroids
 show(dataMat, 4, myCentroids, clustAssing) 
 
if __name__ == '__main__':
 main()

此处展示聚类结果，效果良好。