【统计学习】Logistic Regression

1.Function

$$g(x)=\frac{1}{1+e^{-x}}\\h_\theta(x)=g(\theta^Tx)$$

将直接的线性函数使用函数g后映射到0~1之间（>0.5为正类，小于0.5为负类）

cost function

因为平方差不是凸函数，所以寻找另一个凸函数作为loss.
性质
1.如果$h_\theta=1$说明正好是预测的，于是loss=0;
可以合并

2.多分类问题
训练多个分类器，每个把某类当做正类，其余当做父类。
最后分别计算概率