Interview:算法岗位面试—上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等

Interview:算法岗位面试—上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等

导读:关于神经网络,问的比较深,因为博主做过总结,所以用自己的语言和案例解释的,回答的还算比较全吧。

BN层的认知

参考博主以前写的文章
BN层结构详解—解决反向传播过程中的【梯度消失】与【梯度爆炸】
BN层(批量标准化)采用的理由—旧解释:解决内部协变量偏移
BN层(批量标准化)采用的理由—新解释: BN层优化更加平滑

BP的推导

DL之BP:神经网络算法简介之BP算法简介(链式法则/计算图解释)、案例应用之详细攻略
DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理

GD优化的几种改进

参考博主以前写的文章
DL之DNN优化技术:GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略

(0)

相关推荐