Python实现简单机器学习算法

在当今数据驱动的时代，机器学习已经成为各行各业不可或缺的技术。然而，许多人认为机器学习高不可攀，其实不然。本文将带你一步步用Python实现一个简单的机器学习算法——线性回归，让你轻松入门机器学习。

Python实现简单机器学习算法

准备工作

首先，确保你已经安装了Python。接下来，我们需要安装一些必要的库：

pip install numpy matplotlib scikit-learn

这些库将帮助我们进行数学计算、数据可视化和机器学习模型的构建。

数据准备

为了简化问题，我们使用一个简单的线性数据集。我们可以使用numpy生成一些数据：

import numpy as np

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

这里，X是自变量，y是因变量，我们人为地加入了一些随机噪声。

数据可视化

使用matplotlib将数据可视化，以便更好地理解数据分布：

import matplotlib.pyplot as plt

plt.scatter(X, y)
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression Data')
plt.show()

从图中可以看出，数据大致呈线性分布。

构建线性回归模型

线性回归的目标是找到一条直线，使得所有数据点到这条直线的距离之和最小。我们可以使用scikit-learn库中的LinearRegression类来实现：

from sklearn.linear_model import LinearRegression

# 创建模型实例
model = LinearRegression()

# 训练模型
model.fit(X, y)

# 打印模型参数
print(f'斜率: {model.coef_}')
print(f'截距: {model.intercept_}')

这里，model.coef_是斜率，model.intercept_是截距。

预测与评估

我们可以使用训练好的模型进行预测，并将预测结果与实际数据进行对比：

# 进行预测
X_new = np.array([[0], [2]])
y_pred = model.predict(X_new)

# 可视化预测结果
plt.scatter(X, y)
plt.plot(X_new, y_pred, 'r-', label='Prediction')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression Prediction')
plt.legend()
plt.show()

从图中可以看出，预测的直线较好地拟合了实际数据。

自定义线性回归

为了更深入理解线性回归的原理，我们可以不使用库函数，自己实现一个简单的线性回归：

class SimpleLinearRegression:
    def __init__(self):
        self.coef_ = None
        self.intercept_ = None

    def fit(self, X, y):
        X_b = np.c_[np.ones((len(X), 1)), X]  # 添加截距项
        theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
        self.intercept_ = theta_best[0]
        self.coef_ = theta_best[1]

    def predict(self, X):
        X_b = np.c_[np.ones((len(X), 1)), X]
        return X_b.dot(np.r_[self.intercept_, self.coef_])

# 使用自定义模型
model_custom = SimpleLinearRegression()
model_custom.fit(X, y)
y_pred_custom = model_custom.predict(X_new)

# 可视化自定义模型预测结果
plt.scatter(X, y)
plt.plot(X_new, y_pred_custom, 'g--', label='Custom Prediction')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Custom Linear Regression Prediction')
plt.legend()
plt.show()

通过自定义模型，我们不仅实现了线性回归，还深入理解了其背后的数学原理。