Python实现多元线性回归的梯度下降法

方予

发布时间：2026-10-15 | 5人浏览过

原创

本文介绍如何使用Python实现多元线性回归，重点讲解梯度下降算法。通过定义代价函数与偏导数计算，迭代更新参数theta0、theta1和theta2。示例展示从数据读取、模型训练到可视化拟合平面的完整流程，1000次迭代后损失值显著降低，适用于机器学习入门与模型部署参考。

1. 读取数据

第一步是获取并加载数据集，用户需自行准备适用于多元回归分析的数据。本文以data.csv文件为例，演示二元回归场景。导入必要的Python库，相关代码实现如下。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


data = np.loadtxt("data.csv", delimiter=",")
# 提取特征数据与标签
x_data = data[:,0:-1]
y_data = data[:,-1]

2.定义代价函数

回归模型的结构表示为：

随后需初始化模型参数，并构建代价函数。由于涉及多个系数参数，此处的代价函数定义相较于一元回归有所调整，具体实现如下：

# 初始化一系列参数
# 截距
theta0 = 0
# 系数
theta1 = 0
theta2 = 0

# 学习率
learning_rate = 0.0001
# 初始化迭代次数
n_iterables = 1000


# 定义代价函数（损失函数）
def compute_mse(theta0, theta1, theta2, x_data, y_data):
    total_error = 0
    for i in range(len(x_data)):
        # 计算损失 真实值:y_data  预测值h(x)=theta0 + theta1*x1 + theta2*x2
        total_error += (y_data[i] - (theta0 + theta1 * x_data[i, 0] + theta2 * x_data[i, 1])) ** 2

    mse_ = total_error / len(x_data) / 2
    return mse_

3. 梯度下降

多元回归的梯度下降过程与一元回归类似，区别在于需计算多个偏导数而非单一导数。代码执行逻辑如下：

def gradient_descent(x_data, y_data, theta0, theta1, theta2, learning_rate, n_iterables):
    m = len(x_data)

    # 循环 --> 迭代次数
    for i in range(n_iterables):
        # 初始化 theta0 theta1 theta2 的偏导值
        theta0_grad = 0
        theta1_grad = 0
        theta2_grad = 0

        # 计算偏导的总和再平均
        # 遍历m次
        for j in range(m):
            theta0_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j])
            theta1_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[
                j, 0]
            theta2_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[
                j, 1]

        # 更新theta
        theta0 = theta0 - (learning_rate * theta0_grad)
        theta1 = theta1 - (learning_rate * theta1_grad)
        theta2 = theta2 - (learning_rate * theta2_grad)
    return theta0, theta1, theta2


print(f"开始：截距theta0={theta0},theta1={theta1},theta2={theta2},损失={compute_mse(theta0,theta1,theta2,x_data,y_data)}")
print("开始运行")
theta0,theta1,theta2 = gradient_descent(x_data,y_data,theta0,theta1,theta2,learning_rate,n_iterables)
print(f"迭代{n_iterables}次后：截距theta0={theta0},theta1={theta1},theta2={theta2},损失={compute_mse(theta0,theta1,theta2,x_data,y_data)}")

程序执行后的输出结果如下：

经过1000次迭代运算，损失值从初始的23.64下降至0.3865。

4.可视化展示

可视化是机器学习流程中的重要补充环节，能够直观呈现模型效果，使分析结果更加生动易懂。

# 可视化散点分布
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x_data[:,0],x_data[:,1],y_data)
plt.show()


# 可视化散点分布
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x_data[:,0],x_data[:,1],y_data)

# 绘制预期平面
# 构建x
x_0 = x_data[:,0]
x_1 = x_data[:,1]

# 生成网格矩阵
x_0,x_1 = np.meshgrid(x_0,x_1)

y_hat = theta0 + theta1*x_0 + theta2*x_1

# 绘制3D图
ax.plot_surface(x_0,x_1,y_hat)

# 设置标签
ax.set_xlabel("Miles")
ax.set_ylabel("nums")
ax.set_zlabel("Time")

plt.show()

生成的散点图输出如下：