一文彻底搞懂机器学习 - 回归（Regression） 原创

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split


# 生成一些示例数据
np.random.seed(0)  # 设置随机种子以获得可重复的结果
X = 2 * np.random.rand(100, 1)  # 生成100个0到2之间的随机数作为自变量
y = 4 + 3 * X + np.random.randn(100, 1)  # 生成因变量，其中加入了随机噪声


# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)


# 创建线性回归模型并拟合训练数据
model = LinearRegression()
model.fit(X_train, y_train)


# 使用模型进行预测
y_pred = model.predict(X_test)


# 可视化结果
plt.scatter(X, y, color='blue', label='Data Points')  # 绘制数据点
plt.plot(X_test, y_pred, color='red', linewidth=2, label='Regression Line')  # 绘制回归线
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.title('Linear Regression')
plt.show()


# 打印模型参数
print(f'Intercept: {model.intercept_[0]}')
print(f'Coefficient: {model.coef_[0][0]}')

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures


# 生成一些示例数据
np.random.seed(0)
X = np.sort(5 * np.random.rand(40, 1), axis=0)  # 生成40个0到5之间的随机数并排序作为自变量
y = np.sin(X).ravel() + np.random.normal(0, 0.1, X.shape[0])  # 生成因变量，其中加入了随机噪声


# 定义多项式的次数
degree = 3


# 创建多项式特征
poly = PolynomialFeatures(degree)
X_poly = poly.fit_transform(X)


# 创建线性回归模型并拟合多项式特征数据
model = LinearRegression()
model.fit(X_poly, y)


# 使用模型进行预测
X_test = np.linspace(0, 5, 100).reshape(-1, 1)  # 生成测试数据
X_test_poly = poly.transform(X_test)
y_pred = model.predict(X_test_poly)


# 可视化结果
plt.scatter(X, y, color='blue', label='Data Points')  # 绘制数据点
plt.plot(X_test, y_pred, color='red', linewidth=2, label='Polynomial Regression')  # 绘制多项式回归曲线
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.title(f'Polynomial Regression (degree={degree})')
plt.show()


# 打印模型参数（可选）
# 由于多项式回归的系数较多，这里只打印出来供参考，通常不会直接解释这些系数
print("Model coefficients:", model.coef_)
print("Model intercept:", model.intercept_)

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import Ridge, Lasso, ElasticNet
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split


# 生成示例数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1) - 1  # 生成-1到1之间的随机数作为自变量
y = 4 + 3 * X + np.random.randn(100, 1) * 0.5  # 生成因变量，加入随机噪声


# 标准化数据（对于Lasso和ElasticNet很重要）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)


# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)


# 定义正则化参数
alpha = 1.0


# 创建岭回归模型并拟合数据
ridge = Ridge(alpha=alpha)
ridge.fit(X_train, y_train)


# 创建Lasso回归模型并拟合数据
lasso = Lasso(alpha=alpha)
lasso.fit(X_train, y_train)


# 创建弹性网络回归模型并拟合数据（这里使用l1_ratio=0.5表示L1和L2正则化的混合）
elastic_net = ElasticNet(alpha=alpha, l1_ratio=0.5)
elastic_net.fit(X_train, y_train)


# 使用模型进行预测
X_test_scaled = scaler.transform(X_test)  # 注意：测试数据也需要经过相同的标准化处理
y_pred_ridge = ridge.predict(X_test_scaled)
y_pred_lasso = lasso.predict(X_test_scaled)
y_pred_elastic_net = elastic_net.predict(X_test_scaled)


# 可视化结果
plt.scatter(X_test, y_test, color='blue', label='Data Points')  # 绘制数据点
plt.plot(X_test, y_pred_ridge, color='red', linewidth=2, label='Ridge Regression')  # 绘制岭回归线
plt.plot(X_test, y_pred_lasso, color='green', linewidth=2, label='Lasso Regression')  # 绘制Lasso回归线
plt.plot(X_test, y_pred_elastic_net, color='purple', linewidth=2, label='Elastic Net Regression')  # 绘制弹性网络回归线
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.title('Regularized Linear Regression')
plt.show()