【统计学习】Linear Model with Least Squares

Basis Linear Model

$$RSS(\beta)=\sum_{i=1}^{N}(y_i-x_i^T\beta)^2\\=(y-X\beta)^T(y-X\beta)$$

对$\beta$求导
$X^T(y-X\beta)=0\\\hat{\beta}=(X^TX)^{-1}X^Ty$

Matrix Deduction

Code

import numpy as np;
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt


#生成两个满足高斯分布的数据集
c=[]
x1=np.random.normal(1,10,100)
y1=np.random.normal(1,10,100)
x2=np.random.normal(12,5,100)
y2=np.random.normal(12,5,100)
for i in range(100):
    c.append([x1[i],y1[i],0])
    c.append([x2[i],y2[i],1])


#线性回归

#计算参数beta
c=(np.matrix(c))
y=c[:,[2]]
X=np.matrix(c[:,[0,1]])
bt=np.dot(X.T,X)
bt=np.linalg.pinv(bt)
bt=np.dot(bt,X.T)*y
print(bt)

#对样本的预测
haty=X*bt
print(haty)
plt.plot()

print(bt)

#绘制模拟分类边界
simulate_X=np.arange(-24,24,0.5)
S_X=[]
for x in simulate_X:
    S_X.append([x,(0.5-x*bt[0,0])/bt[1,0]])
S_X=np.matrix(S_X)
plt.plot(S_X[:,0],S_X[:,1])
#plt.show()




plt.scatter(x1,y1)
plt.scatter(x2,y2)
plt.show()

似然估计方式

首先定义 数据集因变量y、参数$\omega$、数据集自变量X

$$\begin{equation*} X=\begin{bmatrix} x_1^T\\ x_2^T\\ ...\\ x_N^T \end{bmatrix}=\begin{bmatrix} 1&x_{11}&x_{12}&...&x_{1K}\\ 1&x_{21}&x_{22}&...&x_{2K}\\ ...\\ 1&x_{N1}&x_{N2}&...&x_{NK} \end{bmatrix} \end{equation*}\quad y=\begin{bmatrix} y_1\\ y_2\\ ...\\ y_N \end{bmatrix} \quad \omega=\begin{bmatrix} \omega_0\\ \omega_1\\ ...\\ \omega_K \end{bmatrix}$$

可以定义预测误差

$$\epsilon=y_n-\langle {x_n},{\omega}\rangle$$

并且误差$\epsilon$服从$\mu=0,\sigma^2$的高斯分布
也就是 $N((y_n-\langle x_n,\omega\rangle);0,\sigma^2)$
到这里可以写出似然函数

$$L(\omega,D)=\prod_{n=1}^N \frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{( (y_n-\langle x_n,\omega\rangle) )^2}{2\sigma^2}\}$$

对数化

$$log L(\omega,D)=-\frac{N}{2}log(2\pi \sigma^2)-\frac{1}{2\sigma^2}\sum_{n=1}^N(y_n-\langle x_n,\omega \rangle)^2$$

优化该函数

$$\hat{\omega}=argmax_\omega logL(\omega,D)\\=argmax_\omega (-\frac{N}{2}log(2\pi \sigma^2)-\frac{1}{2\sigma^2}\sum_{n=1}^N(y_n-\langle x_n,\omega \rangle)^2)\\=argmin_\omega \quad \sum_{n=1}^N(y_n-\langle x_n,\omega \rangle)^2\\$$

矩阵表示，也就是

$$argmin_\omega\quad (y-X\omega)^T(y-X\omega)$$

有

对$\omega$求偏导可得

$$(X^TX)\omega=X^Ty$$

于是$\hat\omega=(X^TX)^{-1}X^Ty$