人工智能应用技术之神经网络通识篇(权重weights每个特征所占的比重偏置为神经元的临界状态判断是否激活神经元)
(权重weights每个特征所占的比重偏置为神经元的临界状态判断是否激活神经元)
https://m.toutiao.com/is/dsa3v8B/?=人工智能应用技术之神经网络
神经网络
神经网络（Neural Networks）是模拟人类大脑处理信息方式的简化模型，基本单元是神经元。
生物神经元结构
生物神经元主要由细胞体、树突、轴突和神经末梢组成。
细胞体：具有联络和整合输入信息并传出信息的作用。
树突：从其他神经元接收信息并将其带到细胞体。
轴突：从细胞体发送信息到其他神经元。
神经末梢：相当于感知器，接受内、外环境的各种刺激，并转化为神经冲动传递给神经中枢。
重播
00:0000:00
生物神经元结构
神经元之间相互联结，组成神经网络。具体实现原理如下：
重播
00:0000:00
神经元的数学模型
一个神经元的数学表示可由输入、权重、偏置、激活函数和输出标量组成。
输入（input）：特征向量。
权重（weights）：每个特征所占的比重。
偏置(bias)：神经元的临界状态，判断是否激活神经元。
激活函数（activation）：起非线性映射的作用。
输出标量（output）：预测结果。
神经元的数学模型
一个神经元可以有多个输入。
一个神经元只能有一个输出，这个输出可以同时输入给多个神经元。
一个神经元的的数量和输入的数量一致。
一个神经元只有一个偏置b。
权重w和偏置b有人为的初始值，在训练过程中被不断修改。
目前，常用的激活函数有sigmoid，Tanh，ReLU，Leaky ReLU，PReLU，ELU，Maxout，selu等。
激活函数
如何选择和使用激活函数，需要视实际问题而定。如：ReLU函数是相对通用的激活函数；Sigmoid函数通常用于分类器；ReLU函数通常在隐藏层中使用等。同时，激活函数可以缺省，如果缺少激活函数将会是简单线性回归模型，无法解决非线性问题。
将相同结构的神经元组合在一起，构成神经网络的层，层与层之间连接构成神经网络。神经网络的层通常包括一个输入层、多个隐藏层和一个输出层。
重播
00:0000:00
神经网络不同层之间是全连接的，即上一层的任何一个神经元与下一层的所有神经元都有连接。
神经网络种类
神经网络由大量的神经元互相连接而构成，根据神经元的链接方式，神经网络目前有几十种模型，每种模型都有其各自特点和优势。在使用神经网络时，需要根据不同场景选择相应的模型进行场景落地。
来源：https://www.asimovinstitute.org/neural-network-zoo/
神经网络的变种非常多，无法一一枚举，建议读者阅读和理解经典的原版，才能更好的去理解各种变种。
注：想了解各个神经网络细节，建议读者查看
https://www.asimovinstitute.org/neural-network-zoo/。里面有每个神经网络的经典论文的链接，可以针对性地研读。
解密神经网络
神经网络输入层、隐藏层和输出层的神经元之间如何相互作用？
层与层之间如何连接？
训练过程中的神经网络是怎样的？
我们一起来看看神经网络内部的机理。这里以神经网络最经典例子“数字识别”为例，即我们随便给出一张上面写有数字的图片并作为输入，用神经网络来识别图片上的数字到底是数字几。
我们使用MNIST数据集，选择卷积神经网络（CNN）来进行数字图片的识别，具体过程如下：
构建手写神经网络
MNIST数据集
MNIST数据集样例
MNIST 包括6万张训练样本，1万张测试样本。
定义模型架构
输入层：图片数据的规范格式为 [row, column, depth]。
卷积层：使用卷积核即过滤器来获取特征，需要指定过滤器的个数、大小、步长及零填充的方式。
激活函数：选用卷积神经网络常用的激活函数：Relu函数。
池化层：进行特征提取，去掉不重要的样本，进一步减少参数数量，池化层选用Max Pooling。
全连接层：进行特征加权，在整个神经网络中起到“分类器”的作用。
输出层：最终预测结果输出，该问题是个十分类问题，因此输出层有10个神经元向量。
训练模型
损失函数：定义损失函数（loss function），然后尽量最小化这个指标，我们用交叉熵来计算百分比概率和对应的独热码之间的误差。
优化器：使用Adam 优化器来最小化误差，学习率 0.001。
准确率：计算准确率。
模型评估：模型在训练数据、测试数据上的损失和准确率逐渐收敛，最终趋于稳定。
模型在训练过程中，依次经过卷积->激活、卷积->激活->池化、卷积->激活、卷积->激活->池化的过程。
重播
00:0000:00
模型预测
对于一张写有数字的图片作为神经网络的输入，输出由十个神经元构成，分别表示（0～9）这十个数字，神经元值越大表示从输入经神经网络判断后是该数字的可能性越大。
预测结果
最后，引用《论语·述而》的一句话：“三人行，必有我师焉；择其善者而从之，其不善者而改之。”。