突破 Pytorch 核心点，损失函数 ！！！

开发运维 2024-01-04 捡田螺的小男孩 手机阅读
Scan me!

嗨，我是小壮！

今天聊聊关于 PyTorch 中关于损失的内容。

损失函数通常用于衡量模型预测和实际目标之间的差异，并且在训练神经网络时，目标是最小化这个差异。

下面列举了关于PyTorch中损失函数的详细说明，大家可以在编辑器中敲出来，并且理解其使用方式。

损失函数

在PyTorch中，损失函数通常被定义为torch.nn.Module的子类。这些子类实现了损失函数的前向计算以及一些额外的方法。在使用损失函数之前，首先需要导入PyTorch库：

import torch
import torch.nn as nn

常见的损失函数

(1) 交叉熵损失函数（CrossEntropyLoss）

交叉熵损失函数通常用于分类问题。在训练过程中，它帮助我们度量模型输出的概率分布与实际标签之间的差异。

criterion = nn.CrossEntropyLoss()

(2) 均方误差损失函数（MSELoss）

均方误差损失函数常用于回归问题，其中模型的输出是一个连续值。

criterion = nn.MSELoss()

损失函数的使用

(1) 计算损失

在训练过程中，通过将模型的输出和实际标签传递给损失函数来计算损失：

# 假设模型输出为output，实际标签为target
loss = criterion(output, target)

(2) 清零梯度

在每一次迭代之前，务必清零模型参数的梯度，以免梯度累积。

optimizer.zero_grad()

(3) 反向传播和参数更新

通过反向传播计算梯度，并使用优化器更新模型参数：

loss.backward()
optimizer.step()

一个案例

以下是一个简单的示例，演示了如何使用PyTorch进行简单的线性回归：

import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt
 
# 数据准备
x_train = torch.tensor([[1.0], [2.0], [3.0]])
y_train = torch.tensor([[2.0], [4.0], [6.0]])
 
# 模型定义
class LinearRegressionModel(nn.Module):
    def __init__(self):
        super(LinearRegressionModel, self).__init__()
        self.linear = nn.Linear(1, 1)
 
    def forward(self, x):
        return self.linear(x)
 
model = LinearRegressionModel()
 
# 损失函数和优化器定义
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)
 
# 训练过程
epochs = 1000
losses = []  # 用于存储每轮训练的损失值
 
for epoch in range(epochs):
    # Forward pass
    predictions = model(x_train)
    loss = criterion(predictions, y_train)
 
    # Backward pass
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
 
    # 记录损失值
    losses.append(loss.item())
 
    # 打印训练过程中的损失
    if (epoch + 1) % 100 == 0:
        print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')
 
# 绘制损失函数随时间的变化
plt.plot(losses, label='Training Loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.title('Training Loss over Time')
plt.legend()
plt.show()

我们在训练神经网络时，通常会关心模型在训练数据上的性能，而损失函数是一个用于度量模型性能的指标。损失函数的值越小，表示模型的预测越接近实际标签，因此我们的目标是通过调整模型的参数来最小化损失函数。

代码中，我们使用了一个简单的线性回归模型，该模型通过训练数据（x_train和y_train）来学习如何预测目标值。为了衡量模型的性能，我们选择了均方误差（MSE）作为损失函数。

代码的主要部分包括：

  • 模型定义：我们定义了一个简单的线性回归模型，它包含一个线性层（nn.Linear）。
  • 损失函数和优化器定义：我们选择均方误差损失函数（nn.MSELoss）作为度量模型性能的指标，并使用随机梯度下降优化器（optim.SGD）来调整模型参数以最小化损失函数。
  • 训练过程：通过多次迭代训练数据，模型逐渐调整参数，以使损失函数逐渐减小。在每次迭代中，我们计算损失、进行反向传播和参数更新。训练过程中的损失值被记录下来，以便后续绘制图表。
  • 绘制损失函数图表：我们使用matplotlib库绘制了损失函数随训练轮次的变化图表。图表的横轴是训练轮次（epochs），纵轴是损失函数的值。通过观察图表，我们可以了解模型在训练过程中学到的程度。

这个图表是一个直观的方式，帮助我们了解神经网络的训练进展。在实际的操作中，帮助我们修改和优化其中的逻辑。