通常，在神经网络训练中，是在每个 mini-batch 处理完成后清空一次梯度，而不是在每个 epoch 结束后清空一次梯度。
这是因服务器托管为在每个 mini-batch 中，模型参数的梯度是根据当前 mini-batch 的损失计算得到的，如果不在每个 mini-batch 后清空梯度，梯度会在每个 mini-batch 中累积，导致参数更新不准确。
因此，通常的做法是在每个 mini-batch 处理完成后调用优化器的 .zero_grad() 方法来清空梯度，以便接收下一个 mini-batch 的梯度信息。
在训练过程中，一个 epoch 包含多个 mini-batches，完成一个 epoch 后，模型会遍历整个训练数据集一次。在每个 epoch 开始时，一般会打乱数据集的顺序以增加模型的泛化能力。
.zero_grad（）方服务器托管法
.zero_grad() 是优化器对象的方法，用于将所有参数的梯度清零。
在每次进行反向传播之前，通常会调用 .zero_grad() 方法来清空之前累积的梯度信息，以准备接收新一轮的梯度信息。这样做可以确保每次参数更新只基于当前批次的梯度，而不受之前批次梯度的影响。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
相关推荐: YOLOv5 + Flask + Vue实现基于深度学习算法的垃圾检测系统源码+数据库
✨界面展示 登录 注册 垃圾检测 用户管理 404 Not Found页面 403 拒绝访问页面 黑暗模式 深蓝模式 灰色模式 色弱模式 ✨技术特性 深度学习 YOLOv5：高效、准确的目标检测算法，实时识别检测图像和视频中的各种对象 PyTorch：机器学习…
