TensorFlow Keras卷积神经网络添加L2正则化实现详解
本文详细介绍在TensorFlow Keras卷积神经网络中添加L2正则化的方法。通过修改Conv2D层的kernel_regularizer参数，可有效防止模型过拟合。文章涵盖正则化原理、L1/L2公式区别、损失函数构建及集合管理技巧，并提供完整代码示例供参考。
TensorFlow Keras CNN添加L2正则化代码示例
直接展示核心实现代码，便于快速上手。
model = keras.models.Sequential([
#卷积层1
keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
#池化层1
keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
#卷积层2
keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
#池化层2
keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
#数据整理
keras.layers.Flatten(),
#1024个，全连接层
keras.layers.Dense(1024,activation=tf.nn.relu),
#100个，全连接层
keras.layers.Dense(100,activation=tf.nn.softmax)
])
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
from tensorflow.python.keras.datasets import cifar100
from tensorflow.python import keras
import tensorflow as tf
class CNNMnist(object):
model = keras.models.Sequential([
#卷积层1
keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
#池化层1
keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
#卷积层2
keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
#池化层2
keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
#数据整理
keras.layers.Flatten(),
#1024个，全连接层
keras.layers.Dense(1024,activation=tf.nn.relu),
#100个，全连接层
keras.layers.Dense(100,activation=tf.nn.softmax)
])
def __init__(self):
(self.x_train,self.y_train),(self.x_test,self.y_test) = cifar100.load_data()
self.x_train = self.x_train/255.0
self.x_test = self.x_test/255.0
def compile(self):
CNNMnist.model.compile(optimizer=keras.optimizers.Adam(),loss=keras.losses.sparse_categorical_crossentropy,metrics=["accuracy"])
def fit(self):
CNNMnist.model.fit(self.x_train,self.y_train,epochs=1,batch_size=32)
def evaluate(self):
test_loss,test_acc = CNNMnist.model.evaluate(self.x_test,self.y_test)
print(test_loss,test_acc)
if __name__ == '__main__':
cnn = CNNMnist()
print(CNNMnist.model.summary())
cnn.compile()
cnn.fit()TensorFlow正则化原理与实现
补充知识：初步了解TensorFlow如何实现正则化
为防止模型过拟合，常采用正则化（regularization）策略。其核心思想是在损失函数中引入衡量模型复杂度的指标，从而限制模型对训练数据的过度拟合。
设训练数据上的损失函数为J(θ)，优化目标并非直接最小化J(θ)，而是优化J(θ) + λR(w)。其中，R(w)用于刻画模型复杂度，λ控制复杂度损失在总损失中的权重。此处θ代表神经网络所有参数（包括权重w和偏置b），但通常模型复杂度仅由权重w决定。
常用的模型复杂度函数R(w)主要有两种：L1正则化，其计算公式为：
另一种是L2正则化，其计算公式为：
TensorFlow支持优化任意形式的损失函数，因此自然也能处理包含正则化项的损失函数。
L1与L2正则化函数实现
在TensorFlow中，L1和L2正则化通过不同函数实现。以下代码展示了具体用法：
#含有L1正则化的损失函数：
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l1_regularizer(λ)(w)
#含有L2正则化的损失函数：
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l2_regularizer(λ)(w)
定义的损失函数loss包含两部分：第一部分为均方误差，反映模型在训练数据上的表现；第二部分为正则化项，旨在防止模型过度拟合训练数据中的随机噪声。
λ表示正则化项的权重系数，w为参与计算正则化损失的参数变量。
TensorFlow提供了tf.contrib.layers.l1_regularizer和tf.contrib.layers.l2_regularizer函数来计算L1和L2正则化。以下代码演示了这两个函数的使用样例：
import tensorflow as tf
weights = tf.constant([[1.0, -2.0], [-3.0, 4.0]])
with tf.Session() as sess:
#计算结果为5.0
print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
#计算结果为15 * 1/2 = 7.5，L2正则化乘以1/2可以方便求导
print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))使用集合管理复杂网络正则化损失
在简单神经网络中，上述方式足以计算带正则化的损失函数。然而，随着网络参数增多，直接定义loss会导致代码冗长、可读性差且易出错。更关键的是，当网络结构复杂时，网络定义与损失计算可能分散在不同函数中，通过变量传递损失变得不便。
为解决此问题，可利用TensorFlow提供的集合（collection）机制来维护需计算的正则化损失。以下代码展示了如何通过集合计算一个5层神经网络带L2正则化的损失函数：
import tensorflow as tf
#获取一层神经网络边上的权重，并将这个权重的L2正则化损失加入名称为losses的集合中
def get_weight(shape, r):
#生成一个变量
var = tf.Variable(tf.random_normal(shape, stddev=1, seed=1), dtype=tf.float32)
'''add_to_collection函数将这个新生成变量的L2正则化损失项加入集合
这个函数的第一个参数losses是集合的名字，第二个参数是要加入这个集合的内容'''
tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(r)(var))
return var
x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))
#定义了每一层网络中节点的个数
layer_dimension = [2, 10, 10, 10, 1]
#神经网络的层数
n_layers = len(layer_dimension)
#这个变量维护前向传播时最深层的节点，开始的时候就是输入层
cur_layer = x
#in_dimension为当前层的节点个数
in_dimension = layer_dimension[0]
#通过一个循环来生成5层全连接的神经网络结构
for i in range(1, n_layers):
#out_dimension为下一层的节点个数
out_dimension = layer_dimension[i]
#生成当前层中权重的变量，并将这个变量的L2正则化损失加入losses集合
weight = get_weight([in_dimension, out_dimension], 0.001)
bias = tf.Variable(tf.fill([1, out_dimension], 0.1))
#使用ReLU激活函数
cur_layer = tf.nn.relu(tf.matmul(cur_layer, weight) + bias)
#进入下一层之前将下一层的节点个数更新为当前层节点个数
in_dimension = out_dimension
'''在定义神经网络前向传播的同时已经将所有的L2正则化损失加入了losses集合
这里只需要计算刻画模型在训练数据上表现的损矣函数。'''
mse_loss = tf.reduce_mean(tf.square(y_ - cur_layer))
#将均方误差损失函数加入损失集合
tf.add_to_collection('losses', mse_loss)
'''get_collection返回一个列表，这个列表包含所有这个集合中的元素
在这个样例中这些元素就是损失函数的不同部分，将它们加起来就可以得到最终的损失函数。'''
loss = tf.add_n(tf.get_collection('losses'))
以上关于TensorFlow Keras卷积神经网络添加L2正则化的内容即为分享的全部，希望能对读者有所帮助，也欢迎大家继续支持本站。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
