当前位置：首页 > news >正文

探索数据的内在结构：使用Scikit-Learn确定聚类数

news 来源：原创 2024/9/19 12:17:11

探索数据的内在结构：使用Scikit-Learn确定聚类数

在机器学习中，聚类是一种无监督学习方法，旨在发现数据的内在结构。一个关键问题是如何确定聚类数，即数据集中应该有多少个聚类。Scikit-Learn（简称sklearn），作为Python中广泛使用的机器学习库，提供了多种方法来帮助我们确定聚类数。本文将详细介绍这些方法，并提供详细的解释和代码示例。

1. 聚类数的重要性

在聚类分析中，确定聚类数是一个挑战。如果聚类数过多，可能会导致模型过于复杂，过拟合数据；如果聚类数过少，则可能无法捕捉数据的真实结构。因此，选择合适的聚类数对于聚类分析的成功至关重要。

2. 肘部法则（Elbow Method）

肘部法则是一种常用的确定聚类数的方法。它通过计算不同聚类数下的误差平方和（SSE）来选择最佳聚类数。

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt# 生成合成数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)sse = []
for k in range(1, 11):kmeans = KMeans(n_clusters=k, random_state=0)kmeans.fit(X)sse.append(kmeans.inertia_)plt.plot(range(1, 11), sse, '-o')
plt.xlabel('Number of clusters')
plt.ylabel('SSE')
plt.title('Elbow Method')
plt.show()

3. 轮廓系数（Silhouette Coefficient）

轮廓系数衡量了聚类的效果，值的范围是[-1, 1]。值越大，表示聚类效果越好。

from sklearn.metrics import silhouette_scoresilhouette_scores = []
for k in range(2, 11):kmeans = KMeans(n_clusters=k, random_state=0)kmeans.fit(X)score = silhouette_score(X, kmeans.labels_)silhouette_scores.append(score)plt.plot(range(2, 11), silhouette_scores, '-o')
plt.xlabel('Number of clusters')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Coefficient')
plt.show()

4. Gap统计量（Gap Statistic）

Gap统计量通过比较数据集的聚类和随机数据的聚类来评估聚类效果。

from sklearn_extra.cluster import KMedoids# 生成合成数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)kmedoids = KMedoids(n_clusters=2, random_state=0, method='louvians')
kmedoids.fit(X)# 计算Gap统计量
from sklearn_extra.metrics import gap_statisticgap, gap_std = gap_statistic(X, kmedoids.labels_, n_jobs=-1)
print(f"Gap: {gap}, Gap Standard Deviation: {gap_std}")

5. 戴维斯-库尔德兰德指数（Davies-Kulh-Levin Index）

戴维斯-库尔德兰德指数（DKL）是一种基于聚类内距离的聚类验证指标。

from sklearn.metrics import davies_kulhinsk_indexdkl_scores = []
for k in range(2, 11):kmeans = KMeans(n_clusters=k, random_state=0)kmeans.fit(X)score = davies_kulhinsk_index(X, kmeans.labels_)dkl_scores.append(score)plt.plot(range(2, 11), dkl_scores, '-o')
plt.xlabel('Number of clusters')
plt.ylabel('DKL Index')
plt.title('Davies-Kulh-Levin Index')
plt.show()