【统计学习】Model Assessment(模型评估)

Hold-out(留出法)

Divide samples to two parts-Test samples、Train samples randomly. And then assess the result. To increase the reliability of result , we often repeat this process several times.And take the average of assessment.
就是分成2部分，测试集和训练集，随机地划分。并对结果进行评估。评估会进行多次，然后取平均值。

$D=S\bigcup T,S\bigcap T=\emptyset$

S很大时，结果会不够稳定准确，S很小时，会丧失保真性（fidelity）

k-fold cross validation(k折交叉验证)

Divide samples to k similar parts,

$D=D_1\cup D_2\cup D_3...,D_i\cap D_j=\emptyset$

Everytime use k-1 subsets as Train set ,the rest set as Test set,and take the same operation on k set,then calculate the average as the assess result.

每次用k-1个子集作为训练集，剩下一个作为测试集，对K个集合都执行这样的操作，然后取平均值

Leave-One-Out(留一法)

in k-fold cross validation ,k=m

bootstrapping(自助法)

自助法：以自助采样（bootstrap sampling）为基础产生数据集，即随机从D中选择一个样本的拷贝，重复m次，作为训练集。不被采样到的概率再取极限得

$\lim_{m→∞}(1−\frac{1}{m})^m=1/e≈0.368$

即，约有36.8%未被采样，并将它作为测试集。这样产生的测试结果称为“包外估计”（out-of-bagestimate）。

由于自助法产生的数据集改变了初始数据集的分布，这会引入估计误差。因此，当数据量足够时，留出法与交叉验证法更常用。

自助法的要点是：①假定观察值便是总体；②由这一假定的总体抽取样本，即再抽样。由原始数据经过再抽样所获得的与原始数据集含量相等的样本称为再抽样样本(resamples)或自助样本(bootstrapsamples)

度量

RMSE(Root Mean Squared Error:均方根误差)

误差均值开根号
$RMSE=\sqrt{ \frac{\sum_{i=1}^n(p_i-a_i)^2}{n} }$
RSE(Relative Squared Error:相对平方误差)
$RSE=\frac{\sum_{i=1}^n(p_i-a_i)^2}{\sum_{i=1}^n(\overline{a}-a_i)^2}$
MAE(Mean Absolute Error:平均绝对误差)
$MAE=\frac{\sum_{i=1}^n|p_i-a_i|}{n}$
RAE(Relative Absolute Error:相对绝对误差)
$RAE=\frac{\sum_{i=1}^n|p_i-a_i|}{\sum_{i=1}^n|\overline{a}-a_i|}$