Python实现最小二乘法与梯度下降：原理、代码与对比

Dylan

发布时间：2026-10-14 | 4人浏览过

原创

本文详细讲解如何利用Python实现最小二乘法和梯度下降算法。通过生成模拟数据，分别使用sympy求解偏导方程组和迭代优化方法计算参数a和b。对比两种方法的计算过程与结果，展示其在线性回归中的应用及代码实现细节。

导入所需库


%matplotlib inline
import sympy
import numpy as np
import matplotlib.pyplot as plt
from sympy.abc import x as a,y as b

生成模拟数据


# 模拟函数 y=3x-1

#自变量
x=np.linspace(-5,5,num=1000)
#加入噪声
noise=np.random.rand(len(x))*2-1
#因变量
y=3*x-1+noise

查看所生成数据的图像


plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)

求代价函数的偏导


y=ax+b  #目标函数

e=1/2*Σ([axi+b]-yi)^2   #代价函数，求使得代价函数为最小值时，对应的a和b

对a求偏导->Σ(axi+b-yi)*xi

对b求偏导->Σ(axi+b-yi)

1. 通过最小二乘法求a，b

当参数a和b处的偏导数均为0时，代价函数e取得最小值。由此可建立如下二元一次方程组：

Σ(axi+b-yi)*xi=0 Σ(axi+b-yi)=0

上述方程组以a和b为未知数，求解该方程组即可得到a和b的具体数值。


result=sympy.solve([
  np.sum((a*x+b-y)*x),
  np.sum(a*x+b-y)],[a,b])
print(result)	#{x: 3.01182977621975, y: -1.00272253325765}

利用sympy库求解方程组，得到a= 3.01182977621975，b= -1.00272253325765。该结果与真实参数a和b非常接近，接下来进行可视化展示。


plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)
plt.plot(x,result[a]*x+result[b],c='red')

print(type(a),type(b))	#<class 'sympy.core.symbol.Symbol'> <class 'sympy.core.symbol.Symbol'>

2. 通过梯度下降算法求a，b

最小二乘法最后一步需要求解p个方程组，计算量极大且实现复杂。为此引入梯度下降法，可视为求解最小二乘法最后一步方程的更简化替代方案。


# 注意这里覆盖了sympy.abc的a和b
# 设定a和b的起始点
a,b=0.1,0.1

#步长，也称作学习率
alpha=0.00001

#循环一千次结束
for i in range(1000):
  a-=alpha*np.sum((a*x+b-y)*x)
  b-=alpha*np.sum(a*x+b-y)

print(a,b)	#3.0118297762197526 -1.002674927350334

使用梯度下降法计算得出a= 3.0118297762197526，b= -1.002674927350334，同样高度接近真实a和b值，下面通过图形进行验证。


plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)
plt.plot(x,a*x+b,c='black')

print(type(a),type(b))	#<class 'numpy.float64'> <class 'numpy.float64'>