【原创】机器学习从零开始系列连载(4)——逻辑回归
辑回归-Logistic Regression
模型原理
整个原理部分的推导过程如下:
采用 MLE 或者 MAP 做参数求解:
损失函数
损失函数3 —— Cross Entropy Loss
简单理解,从概率角度:Cross Entropy损失函数衡量的是两个概率分布与之间的相似性,对真实分布估计的越准损失越小;从信息论角度:用编码方式对由编码方式产生的信息做编码,如果两种编码方式越接近,产生的信息损失越小。与Cross Entropy相关的一个概念是Kullback–Leibler divergence,后者是衡量两个概率分布接近程度的标量值,定义如下:
当两个分布完全一致时其值为0,显然Cross Entropy与Kullback–Leibler divergence的关系是:
关于交叉熵及其周边原理,有一篇文章写得特别好:Visual Information Theory(在后期我们公众号将会推出)。
往
期
推
荐
扫描个人微信号,
拉你进机器学习大牛群。
福利满满,名额已不多…
赞 (0)