求解
给定矩阵X和向量y,求解
的最佳最小二乘解,就是加号逆(MP广义逆)*y
求解方法
矩阵论复习笔记
首先扩充X举证,加入向量X0
之后直接求解即可
梯度下降和正规方程的比较
梯度下降 |
正规方程 |
需要进行学习率 的调参 |
不需要学习率参数 |
需要多次迭代 |
不需要迭代 |
特征数n很大时候仍然可以很好的work |
n很大的时候,矩阵求逆很慢(复杂度n的三次方) |
n>=10000时候倾向于梯度下降,否则倾向于正规方程
导致矩阵不可逆的两种原因
矩阵不可逆就是说矩阵的行列式为0
1.包含了冗余的特征,使得计算行列式的时候,有一列是可以被消为0的,这样从这一列展开,得到的行列式就是0,进而矩阵就不可逆了
2.训练数少于特征数
m
矩阵不可逆的解决措施
1.尝试去掉多余的特征