重大突破!一个颠覆谷歌“深度学习”最新模型,应用接近人脑神经元原理
本发明属于信息处理领域,尤其是一种人工智能超深度学习模型的构成方法。
当前在全世界范围内人工智能成为热点话题,与人工智能相关的专利也引人注目,在这方面日本著名古河机电公司发表了“图像处理方法和图像处理装置”(专利文献1)的专利申请,该专利提出通过人工智能的神经网络的算法选取图像的处理阀值从而高精度的将图像的轮廓抽出。
在汽车自动驾驶的应用中日本著名的丰田公司发表了“驾驶指向推定装置”的专利(专利文献2),该专利提出根据汽车自动驾驶过程中,针对突发的情况,即使驾驶员没有反映的情况下,通过人工智能的逆传递神经网络的机器学习算法,自动的选择驾驶状态,以避免行车事故的发生等。
【专利文献1】(特开2013-109762)
【专利文献1】(特开2008-225923)
上述(专利文献1)和(专利文献2)都提到采用人工智能的神经网络算法,但是,神经网络算法中的加权值W,与阀值T在学习的过程中,要想得到最佳的解,需要将所有的状态都要进行测试,所要组合的总次数是{(W×T)n}×P,这里n为一层的神经网络的节点数,P为神经网络的层数,如此高指数的计算复杂度使计算量庞大,最终造成自组织收敛太慢;再加上加权值和阀值这两个参数是互关联的,针对整体的目标进行各个加权值和阀值的调节不能保证所得到的结果是整体的最佳解;另外,神经网络的模型中的阀值的定义属于初等数学,同人的大脑的神经网络的机理相差甚大,脑神经的刺激信号的原理不能在传统的神经网络模型中充分体现,人的头脑的根据神经元的神经信号所产生的兴奋程度不同进行不同的判断的机理在目前的神经网络的模型中也不能体现,再有目标函数往往是随机分布的,神经网络模型并没有考虑针对随机变量的处理等等,目前的神经网络模型只能是学术上的,代表一种方向性的理论,同达到实际应用的程度差距甚大。如今进入深度学习的阶段,同传统的神经网络相比只增加了隐藏层的数量,这更加使计算的复杂度加大,虽然在学习中导入了一些优化算法,但是并没脱离原来的神经网络的基础,传统神经网络的致命问题得不到解决,广泛应用的前景很难期待。
再有,组合理论通过图论解决最佳组合问题最初是由美国佛罗里达州大学台湾籍刘教授发明的,80年代初我国访问学者王教授提出了利用“墒”的最佳组合理论,该理论由于从理论上可以证明能够获得最佳的组合结果,因此引起世界学界的高度重视。然而,利用“墒”的最佳组合理论的问题点也是计算复杂度大,收敛慢致使应用受到局限。
什么是人工智能?简单讲就是用计算机实现人的头脑功能,即通过计算机实现人的头脑思维所产生的效果,人工智能算法所要处理的问题,以及处理后的结果是不可预测的。
目前之所以在社会上把普通的模式识别,机器人技术混同于人工智能,其根本原因就是对人工智能的概念不清楚,因此把一切先进的技术统统归属于人工智能,这反而会影响人工智能的发展。
长期以来人们习惯于把导入计算机处理的系统统称为智能系统,所以看到人工智能的词汇时马上就联想到智能系统,其实这是完全不同的两个概念,智能系统是依据确定性的算法所实现的系统,是按照一种算法实现某种目标函数的处理,其处理结果是确定性的系统。例如自动控制系统,通过闭环的PID调节,使机械位置能够尽快达到事先要求的位置,使温度尽快到达事先的要求指标等等,这种算法往往是经典的理论,还有在模式识别的智能系统中有很多经典的分类的算法,例如利用欧几里德距离,可以计算出一个特征向量数据同若干个向量数据中的那个向量数据最接近,这些都是模式识别的基本算法,导入这些算法的模式识别系统就是一个智能的系统。
再有在机器人系统中,机器人的行走以及手臂的动作需要人为的事先通过程序输入到机器人系统中,机器人才可以按照人为输入的程序进行行走以及各种手臂动作,局外人看着机器人的动作还以为是同人一样可以随心所欲的作出各种动作,其实不然,在机器人行走过程中如果路上出现一个不可预知的障碍物,这时机器人肯定会被绊倒,然而如果在机器人系统中搭载了人工智能的算法,就可以由机器人自己的判断,自主的绕过障碍物。所以普通的智能系统与人工智能的区别归纳起来就是:普通智能系统是经典的算法,是仅以满足目标函数的的算法,是解决其结果是可预测性问题的算法,人工智能是模仿大脑处理问题的方法,或能客观上实现了人脑所能实现的处理,所要解决的问题,以及处理的结果往往是不确定性的,或者说是事先不可预知的。
本发明的第一个目的是:提出一个接近人脑神经元原理的神经网络模型,提出一个符合人的大脑神经所产生的神经触发的神经信号的神经网络阀值的定义方法,使神经网络算法能够适应以概率分布的复杂系问题为对象的应用。
本发明的第二个目的是:提出一个适应实际应用需要的,具有计算复杂度低的,高效率的,从根本上颠覆深度学习理论的新的神经网络的算法。
为解决上述传统的神经网络算法所存在的问题,提出一种人工智能超深度学习模型的构成方法,本发明提出如下技术方案:
图1是一种人工智能超深度学习模型的构成示意图。
首先进行字母表达的如下定义:
设输入信息的数量与输入层节点的数量为h(h=1,2,…,k),再设学习次数为z=1,2,…,w,神经元的层数为p(p=1,2,…,e)。被学习的图像也应为Fz(z=1,2,…,w),隐藏层即神经层的节点数量与输入层的节点数量对应也为h(h=1,2,…,k),第一次学习的输入信息到输入层节点之前需要进行学习的微机器学习为MLzph,输入层p=1,所以MLz1h有
ML111,ML112,…,ML11k,
ML211,ML212,…,ML21k,
…,
MLw11,MLw12,…,MLw1k,
(公式1)
所以在学习阶段每一次的微机器学习的计算复杂度是线性的,而需要进行w次的学习的计算复杂度严格讲应该是O3。
再定义各层的节点Nzph,在输入层p=1,所以Nz1h有输入层节点:
N111,N112,…,N11k
N211,N212,…,N21k
…,
Nw11,Nw12,…,Nw1k
(公式2)
同样,第二次学习的输入层节点到隐藏层节点之间也需要进行学习的微机器学习为MLph,在这一层只有一种数据,所以不存在w次的数据,隐藏层p=2,所以ML2h有
ML21,ML22,…,ML2k
(公式3)
同样,在隐藏层即神经层的节点只有一种数据,所以不存在w次的数据,隐藏层p=2,所以N2h有输入层节点:
N21,N22,…,N2k
(公式4)
同样决策层即大脑层p=3,而且仅存在一个节点,所以N3h有输入层节点的节点为N31。
再对被识别的对象S进行定义,被识别对象S的信息到输入层之前的微机器学习为MLsph输入层p=1,所以MLs1h有
MLs11,MLs12,…,MLs1k
(公式5)
同样,被识别对象S的信息到输入层的节点只有一种数据,所以不存在w次的数据,输入层p=1,所以N1h有输入层节点:
N11,N12,…,N1k
(公式6)
被识别对象S的输入层到隐藏层之间的微机器学习为MLsph隐藏层p=2,所以MLs2h有:
MLs21,MLs22,…,MLs2k
(公式7)
这里先以图像识别为例说明人工智能超深度学习的神经网络模型的构成方法,如图1所示:F表示被学习的图像,可将图像分割成n×m的区域,可产生Fij(i=1,2,…,n,j=1,2,…,m)个图像,n+m=k,被学习对象的每一个区域对应一个学习层的节点,再设每个区域有g(g=1,2,…,t)个像素。
将第h(h=1,2,…,k)个区域中的所有的g个像素的灰度值输入到第一次微机器学习ML11h中,学习结果值L11h送到第一个输入层的h个节点N11h,第z次被学习的图像Fz的k个区域经过k×z个微机器学习MLz1h(h=1,2,…,k,z=1,2,…,w)后,输入到第一个输入层的k个节点上,针对w次的不同环境下所得到的被学习的识别图像Fz(z=1,2,…,w),可产生w×h个输入层的微机器学习数值Lz1h(h=1,2,…,k,z=1,2,…,w)即:
L111,L112,…,L11k
L211,L212,…,L21k
…
Lw11,Lw12,…,Lw1k
(公式8)
将w个输入层的每一个节点Nz1h上的Lz1h再进行第二次微机器学习ML2h,产生学习值L2h以及最大概率,或最大测度的尺度,把这个尺度作为触发神经的阀值T2h,其结果送到隐藏层(p=2)的k个节点N2h(h=1,2,…,k)。
当被识别图像S的第h(h=1,2,…,k)个区域,经过机器学习的结果产生学习值LS1h,送到k个节点N2h,经过计算当|LS1h-L2h|≤T2h→“1”,隐藏层的k个节点N2h触发,输出“1”的神经信号,否则|LS1h-L2h|>T2h→“0”无神经信号输出。
输出层即大脑层,通过隐藏层输出的神经信号的多少,决定大脑的兴奋程度,根据神经元的兴奋程度,即隐藏层各个节点的输出“1”的个数决定被识别图像S是否是所学习的图像的程度,可起到头脑决策的效果,另外,在具体识别时,还可以根据多次的对被识别的图像的识别,计算出隐藏层的各个节点的输出“1”的概率,可进行自动修正识别参数,起到自学习的效果。
这里修正识别算法有两种方式,一种是计算出隐藏层的各个节点的输出“1”的概率,将隐藏层的各个节点的输出值乘以该节点的概率值,即设隐藏层的各个节点的输出值为NVh(h=1,2,…,k), 隐藏层的各个节点的输出“1”的概率值为P h(h=1,2,…,k),则输出层的兴奋值为
另一种是把被识别的图像的数据重新送入隐藏层作为学习数据,重新学习得到新的学习结果。
上述节点之间通过微机器学习进行连接,还可以使用统计学的算法,比如计算平均值和方差,或是统计学的其他算法,以及机器学习的其它算法等等的方法,达到上述定义的超深度学习的构成方法,均属于本发明的范围之内。
图2是实际人工智能超深度学习模型的构成示意图。
上述,在图像学习时采用了通过w次的图像采集,产生了F1, F2, …,Fw个图像,针对Fz(z=1,2,…w)个图像,通过MLz1h(h=1,2,…,k,z=1,2,…w)的h×w个微机器学习,把学习结果Lz1h(h=1,2,…,k,z=1,2,…w)分别送到w个输入层P1, P2, …,Pw的各个节点Nz1h(h=1,2,…,k,z=1,2,…w),再由输入层通过ML2h(h=1,2,…,k)个微机器学习产生(L2h,T2h)(h=1,2,…,k)。
如图2所示:上述在学习时所产生的F1, F2, …,Fw个图像是反复通过对应F图像k的小区的k个微机器学习ML1h(h=1,2,…,k),得到w回的学习结果
L1h(h=1,2,…,k)分别送到输入层的各个节点N1h(h=1,2,…,k),微机器学习ML2h(h=1,2,…,k)的输入端把输入层的h节点N1h得到的w个数据进行微机器学习得到(L2h,T2h)(h=1,2,…,k)k个神经网络的学习值和阀值,作为神经层的输出“1”的判断依据,节点N2h,经过计算当|LS1h-L2h|≤T2h→“1”,神经层的h节点N2h触发,输出“1”的神经信号,否则|LS1h-L2h|>T2h→“0”无神经信号输出。
输出层即大脑层同上述相同,通过隐藏层输出的神经信号的多少,决定大脑的兴奋程度,根据神经元的兴奋程度,即隐藏层各个节点的输出“1”的个数决定被识别图像S是否是所学习的图像的程度,可起到头脑决策的效果。
图1一种人工智能超深度学习模型的构成示意图
图2实际人工智能超深度学习模型的构成示意图
顾 泽苍
Zecang Gu
株式会社阿波罗日本
最高技术责任者
工学博士
日本电子信息通讯学会(IEICE)正会员
日本图像电子学会(IIEEJ)正会员
南开大学特聘教授
E-mail:gu@apollo-japan.ne.jp
学历研究经历
1980年到1983年天津大学精密仪器系研究生
1983年开始在天津激光技术研究所从事激光检测方面的研究。
1991到1993年在日本大阪府立大学研究院信息学专攻从事组合理论的研究,在国际上首创运用模糊事象概率的理论解决组合数学的最优化问题,受到美国牛顿研究中心,印度等大学的关注,获工学博士学位。
1994到1999年从事模式识别与彩色合成的研究,在国际上创建“概率尺度自组织”的机器学习理论,解决最佳模式识别以及彩色合成的优化问题。
1980年到1999年在国际一级学刊上共发表论文8篇。
2000年至今从事印刷图像信息隐藏,以及机器学习方面的研究。在国际上提出了“网屏编码理论”,以及“图像直接变换代码的ITC理论”等受到日本,美国以及欧洲有关大学的高度关注,截至2015年底共申请了113项专利,有51项专利已获专利权。