1.什么是误差逆传播算法(error BackPropagation,简称BP)?
是神经网络通用训练算法,BP算法的基础是基于梯度下降(gradient d服务器托管网escent)的误差函数优化,梯度是基于误差对每一个权重值的梯度。因为利用了神经网络的层次结构,所以显著提高了计算效服务器托管网率。BP的算法工作流程大致是:先将输入样本输入给输入层神经元,再将误差逆向传播至隐层神经元,最后根据隐层神经元的误差来对连接权(connection weight)和阈值(threshold)进行调整,这也是“基于误差”的思想所在,该过程迭代调整,直到训练误差达到一个很小的值。
2.如何解决误差函数中参数寻优陷入局部极小的问题?
(1)以多组不同的值初始化多个神经网络,按标准方法训练之后,取其中误差最小的解作为参数。这相当于从不同的初始点开始搜索,这样就可能陷入不同的局部最小。
(2)使用“模拟退火”(simulated annealing)技术,模拟退火每一步都在以一定的概率接受比当前更差的结果,从而有助于“跳出”局部极小。
(3)使用随机梯度下降,与标准梯度下降计算机误差精度不同,随机梯度下在计算梯度时加入了随机因素,即使陷入局部极小点,它计算出的梯度仍可能不为0,这样就有机会跳出局部极小。
3.什么是预训练(pre-training)?
由于多隐层神经网络在多隐层逆传播时,往往会“发散”(diverse)而不能收敛到稳定状态,所以采用预训练方法,训练时将上一层隐结点的输出作为输入,而本层隐结点的输出作为下一层隐结点的输入。在预训练结束后,再对整个网络进行微调(fine-tuning)。
4.什么是支持向量机(support vector machine)?
首先解释支持向量(support vector),是指距离超平面,最近的几个点使得下面公式的等号成立,他们被称为“支持向量”。
两个异类支持向量到超平面的距离称为间隔(margin),欲找到具有“最大间隔”(maximum margin)的划分超平面,也就是找到能满足上面约束条件的参数w和b,使得margin最大,这就是支持向量机(SVM)的基本型:对于二分类问题,找到一个超平面,使得margin最大。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
相关推荐: 基于nodejs+vue班级管理系统的设计与实现-flask-django-python-php
随着电子技术的普及和快速发展,线上管理系统被广泛的使用,有很多事业单位和商业机构都在实现电子信息化管理,班级管理系统也不例外,由比较传统的人工管理转向了电子化、信息化、系统化的管理。随着互联网技术的高速发展,人们生活的各方面都受到互联网技术的影响。现在人们可…