一文彻底搞懂机器学习 - K均值（K-Means） 原创

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt


# 生成一些示例数据
np.random.seed(42)  # 设置随机种子以获得可重复的结果
X = np.random.rand(100, 2)  # 生成100个二维数据点


# 可视化原始数据点
plt.figure(figsize=(10, 5))


plt.subplot(1, 2, 1)  # 创建一个1行2列的子图，并选择第1个位置
plt.scatter(X[:, 0], X[:, 1], c='gray', marker='o')  # 绘制原始数据点，使用灰色表示
plt.title('Original Data Points')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')


# 使用KMeans进行聚类
kmeans = KMeans(n_clusters=3, random_state=42)  # 假设我们要将数据分成3个簇
kmeans.fit(X)


# 获取聚类结果
labels = kmeans.labels_  # 每个数据点的簇标签
centers = kmeans.cluster_centers_  # 聚类中心


# 可视化聚类结果
plt.subplot(1, 2, 2)  # 选择第2个位置
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', marker='o')  # 绘制聚类后的数据点，使用不同颜色表示不同簇
plt.scatter(centers[:, 0], centers[:, 1], c='red', marker='x')  # 用红色叉号标记聚类中心
plt.title('K-means Clustering Result')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')


plt.tight_layout()  # 调整子图之间的间距
plt.show()

import numpy as np


class KMeans:
    def __init__(self, n_clusters, max_iter=300, tol=1e-4):
        self.n_clusters = n_clusters  # 聚类簇的数量
        self.max_iter = max_iter      # 最大迭代次数
        self.tol = tol               # 收敛容差
        self.cluster_centers_ = None  # 聚类中心
        self.labels_ = None          # 每个数据点的簇标签


    def fit(self, X):
        # 随机初始化聚类中心
        np.random.seed(42)  # 为了结果的可重复性
        random_indices = np.random.permutation(X.shape[0])
        self.cluster_centers_ = X[random_indices[:self.n_clusters]]


        for i in range(self.max_iter):
            # 计算每个数据点到聚类中心的距离，并分配数据点到最近的簇
            distances = self._compute_distances(X)
            self.labels_ = np.argmin(distances, axis=1)


            # 计算新的聚类中心（簇内数据点的均值）
            new_centers = np.array([X[self.labels_ == j].mean(axis=0) for j in range(self.n_clusters)])


            # 检查聚类中心是否收敛（变化是否小于容差）
            if np.all(np.linalg.norm(new_centers - self.cluster_centers_, axis=1) < self.tol):
                break


            self.cluster_centers_ = new_centers


    def _compute_distances(self, X):
        # 计算X中每个点到聚类中心的欧氏距离
        n_samples = X.shape[0]
        distances = np.zeros((n_samples, self.n_clusters))
        for k in range(self.n_clusters):
            distances[:, k] = np.linalg.norm(X - self.cluster_centers_[k], axis=1)
        return distances


    def predict(self, X):
        # 对新数据点X进行聚类预测
        distances = self._compute_distances(X)
        return np.argmin(distances, axis=1)


# 使用示例
if __name__ == "__main__":
    # 生成一些示例数据
    np.random.seed(42)
    X = np.vstack([np.random.normal(loc, 0.5, size=(50, 2)) for loc in [(1, 1), (-1, -1), (1, -1)]])


    # 使用自定义的KMeans类进行聚类
    kmeans = KMeans(n_clusters=3)
    kmeans.fit(X)


    # 打印聚类中心和每个数据点的簇标签
    print("Cluster centers:\n", kmeans.cluster_centers_)
    print("Labels:\n", kmeans.labels_)


    # 可视化聚类结果（需要matplotlib库）
    import matplotlib.pyplot as plt
    plt.scatter(X[:, 0], X[:, 1], c=kmeans.labels_, cmap='viridis', marker='o')
    plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], c='red', marker='x')
    plt.title('K-means Clustering')
    plt.xlabel('Feature 1')
    plt.ylabel('Feature 2')
    plt.show()