非参数化模型,当数据集规模增大时,其参数量也相应变多
希望从这无数个可以分隔两个点集的超平面中,挑选出与任意一点间隔(margin)的最小值最大的平面
支持向量机的数学描述
对上式来说,当w和b的大小同时变为倍时,式中的分母||w||也变为倍,这时划分超平面完全不变
定义 = yi(wx+b)为函数间隔,i = / ||w||为几何间隔。我们希望所有样本到平面的几何间隔 i 的最小值最大
于是,支持向量机服务器托管的优化目标可以写为:
上面已经提到,函数间隔关于w和b的大小并不影响实际的几何间隔i,因为其变化总会被||w||所抵消。因此,不妨令=1。这样上面的优化目标就变为:
为了求解方便,我们选择凸的单调递增函数,进一步将优化目标等价地写为:
如果数据线性不可分,我们可以适当放低上面的约束要求,引入松弛变量i,将约束问题改写为:
凸优化的原始问题:
定义其拉格朗日函数(Lagrangian function)为:
当约束条件满足时,拉格朗日函数的最大值恰好就等于原问题的目标函数f(w),从而原问题可以写为:
将上面优化问题中计算min和max的顺序交换,定义其对偶问题为:
所以求解拉格朗日函数得到w和b,代入对偶函数得到:
序列最小优化
pass
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net