统计学

1、损失函数：度量预测错误的程度，评估模型单次预测的好坏。

　　a：0-1损失函数：

$L(Y,f(X))=\begin{cases}0 & \text{ if } Y=f(X) \\ 1 & \text{ if } Y\neq f(X) \end{cases}$

　　b：平方损失函数：

$L(Y,f(X))=(Y-f(X))^2$

　　c：绝对损失函数：

$L(Y,f(X))=\left | Y-f(X) \right |$

　　d：对数损失函数：

$L(Y,p(Y|X))=-log(p(Y|X))$

2、风险函数：损失函数的期望，评估模型平均预测好坏。

$R_{exp}(L(Y,f(X)))=\int_{x*y}L(Y,f(X))p(X,Y)dxdy$

　　经验风险：关于训练集的平均损失。

$R_{emp}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))$

　　经验风险最小化：

$\underset{F \epsilon f}{min}\frac{1}{n}\sum L(Y,f(X))$

eg：当模型是条件概率，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

　　结构风险：是为了防止过拟合。

$R_{srm}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))+\lambda J(f)$

eg：当模型是条件概率，损失函数是对数损失函数，模型复杂度由先验概率表示时，经验风险最小化等价于最大后验概率估计。

---

1、(Bayes)贝叶斯定理

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$（“后验概率=标准似然度*先验概率”）

2、似然函数

$p(x|\theta)$

• x:表示一个具体数据

• $\theta$:表示模型参数

• 如果$\theta$已知，x为变量，这个函数是概率函数。$p(x|\theta)$表示取到不同x的概率是多少。

• 如果x已知，$\theta$为变量，这个函数是似然函数。$p(x|\theta)$表示不同$\theta$模型，出现x的概率。

3、极大似然估计

• 就是利用已知的样本结果信息，反推最具可能（最大概率）导致样本结果产生的模型参数

• 这样给定了一种通过样本结果评估模型参数的方法，“样本已定，模型未知”。