【统计学习】Concept of Generative Modeling(GM) and Discriminative Modeling(DM)
Generative Modeling(GM:生成模型)
生成模型是根据联合概率分布$P(X,Y)$然后求出概率分布$P(Y|X)$的模型
典型GM
朴素贝叶斯
首先想办法弄出$P(X|Y)$
然后根据条件概率公式干出联合概率$P(X,Y)$
最后求出$P(Y|X)$
HMM(隐马尔科夫模型)
就是一个马尔科夫网络。状态隐藏。只能观察到输出
Discriminative Modeling(DM:判别模型)
判别模型是由训练数据直接学习决策函数f(X)或者条件概率分布P(X,Y)作为预测的模型，模型关心的是对给定的输入X，应该预测什么样的输出Y
典型DM:
K-Nearest(K近邻)
take K neighborhood of certain input X.Then vote to decide which is the output y.
Neural Network(神经网络)
Decision tree(决策树)
SVM(支持向量机)
逻辑回归
AdaBoost
集成学习的一种方法
Conditional Random Field(CRF:条件随机场)
CRF主要用于序列标注，可以简单理解为对序列的每一帧都进行分类
Perceptron(感知机)
神经网络早期的主要成果是感知机，Perceptron，这是一种01化的神经元模型
