【统计学习】Shrinkage Method

岭回归(Ridge Regression)

岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

理论

岭回归在最小二乘法的基础上加上了一个L2惩罚项(正则化项。也就是使用了L2正则化)(关于L2正则化可以看另一篇文章)
Loss Function:

$$J(\theta)=\frac{1}{2m}\sum_{i=1}^m[( (h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n\theta_j^2 )]$$