文/陈根 机器学习是人工智能的一个重要分支,而深度学习则是机器学习发展到一定阶段的必然产物。 深度学习就像生物神经大脑的工作机理一样,通过合适的矩阵数量,多层组织链接一起,形成神经网络“大脑”进行精准复 2024-06-14 06:11:57 文/陈根 机器学习是人工智能的一个重要分支,而深度学习则是机器学习发展到一定阶段的必然产物。深度学习就像生物神经大脑的工作机理一样,通过合适的矩阵数量,多层组织链接一起,形成神经网络“大脑”进行精准复杂的处理。深度学习的出现,让图像、语音等感知类问题取得了真正意义上的突破。可以说,深度学习被引入机器学习,使其更接近于最初的目标——人工智能。当前,以深度学习为代表的人工智能技术取得了飞速的发展,正落地应用于各行各业。但深度学习不是万能的,深度学习的局限性导致其在近几年的发展中进入了瓶颈。纽约大学教授 Gary Marcus曾经说,深度学习是贪婪、脆弱、不透明和浅薄的,而如何面对深度学习的贪婪、脆弱、不透明和浅薄,将决定深度学习在未来能否行稳致远。 深度学习走向爆发20世纪50年代到70年代初,人工智能研究处于“推理期”。彼时,人们认为,只要能赋予机器逻辑推理能力,机器就能具有智能。但随着研究向前发展,研究人员们意识到,要使机器具有智能,就必须使机器拥有知识。在这一阶段,机器学习开始萌芽。1952年,亚瑟·塞缪尔开发的跳棋程序,创造了“机器学习”这一概念,并将它定义为:“可以提供计算机能力而无需显式编程的研究领域”。机器学习旨在通过给机器一些原始的“学习资料”,让机器自动地学习如何判断和输出相应的结果。机器学习的发展诞生了人工神经网络,而深度学习正源于对人工神经网络的研究。当前的深度学习系统就主要由神经网络的架构、算法以及结构化数据三大要素构成。其中,神经网络的架构是深度学习最基础也最必要的一环。网络架构的选择让深度学习以一种令给定算法可学习的方式来表示数据中的结构。神经网络的架构主要包括前馈神经网络,循环网络和对称连接网络。前馈神经网络是实际应用中最常见的神经网络类型。第一层是输入,最后一层是输出,如果有多个隐藏层,即为“深度”神经网络。循环神经网络是一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。对称连接网络与循环网络相似,只是单元之间的连接是对称的(在两个方向上的权重相同)。对称的权重限制了网络模型变化的可能性,从而也限制了网络的能力,但同时也使得其比循环神经网络更容易分析。基于人工神经网络的深度学习也展现出过去人工智能不可比拟的优势。2013年初,在《麻省理工科技评论》发布的“十大突破性技术”中,“深度学习”就作为上榜技术赫然在列,评论也给出了3-5年内即将爆发的明确时间周期。比如,在计算机视觉领域,深度学习的优势在于它能够直接从大型图像数据集中自动学习复杂且有用的特征,并且从神经网络模型的提供的图像中学习并自动提取各种层次的特征。深度神经网络性能的显著提高也是深度学习领域迅速发展的催化剂。2012年,卷积神经网络AlexNet就以15.8%的top-5错误率获得了ILSVRC的冠军,而当年的第二名却以26.2%的错误率远落后于AlexNet。根据ARK的研究,未来15-20年,深度学习将为全球股票市场增加30万亿美元的市值。此外,在很多方面,深度学习正在创造全新的下一代计算平台。2020年,拥有AI技术的智能音箱在世界范围内回应了1000亿条语音指令,比2019年增长了75%。在自动驾驶方面,美国Waymo公司的自动驾驶汽车已经在包括旧金山、底特律和凤凰城在内的25个城市收集了超过2000万英里的真实驾驶里程。使用深度学习技术进行视频推荐的中国公司TikTok,也已经超越了Snapchat加Pinterest。可以说,作为人工智能的一种形式,深度学习技术通过利用数据自动编写程序,正在为各行各业带来革命性的改变。 贪婪、脆弱、不透明和浅薄的深度学习深度学习作为现今炙手可热的概念,其更好的性能得到了学术界和工业界的广泛认可,但伴随这些进展而来的还有越来越多对深度学习的质疑。深度学习暴露的越来越多的弱点正在引起公众对人工智能的关注,比如在无人驾驶汽车领域,它们使用类似的深度学习技术进行导航,就曾经导致了广为人知的伤亡事故。Gary Marcus曾经指出,深度学习是贪婪、脆弱、不透明和浅薄的。这些系统很贪婪,因为它们需要大量的训练数据。对于卷积神经网络的图像分类来说,卷积神经网络对物体的姿势并不敏感。如果要识别同一个物体,在位置、大小、方向、变形、速度、反射率、色调、纹理等方面存在差异,都必须针对这些情况分别添加训练数据。可以说,尽管深度神经网络在许多任务中表现良好,但这些网络通常需要大量数据才能避免过度拟合。遗憾的是,许多场景无法获得大量数据,例如医学图像分析。深度学习是脆弱的。当下,深度学习网络在做分类的时候,很难输出一个百分百肯定的结果,这也就意味着网络并没有完全理解这些图片,只能通过各种特征的组合来完成大概的预测。一根香蕉,人工智能却能将其识别为烤面包机。即使它使用了在自动驾驶、语音理解和多种 AI 应用中表现出色的强大深度学习技术。也就是说,即便人工智能已经见过了几千张香蕉、蛞蝓、蜗牛和类似外观的图片,能够对新输入的图像预测其中物体的类别,但依然容易被误导。图像中只需要多一张贴纸,就能让系统的预测产生严重偏离。而显然,不管人们用来训练的图片库有多大都是有限的,从而有些图片是没有在我们的训练库内的(对抗样本),这些图片很可能跟已有的图片具有极其类似的特征,从而出现将对抗样本完全分错类的情况。深度学习是不透明的。与传统机器学习不同,深度学习并不遵循数据输入、特征提取、特征选择、逻辑推理、预测的过程,而是由计算机直接从事物原始特征出发,自动学习和生成高级的认知结果。虽然深度学习来自于人类的大脑的工作机制,但依然无法真正理解不同模型的各个参数的含义,从而导致整个深度学习网络成为了一个黑盒模型,除了一些超参以外,很难进行内部的调参。 而这个黑盒模型,不只意味着不能观察,还意味着即使计算机试图向我们解释,人们也无法理解——被描述为黑匣子的深层神经网络何时能够提供令人满意的答案,何时不能?应用深度学习系统时,将相应领域知识、约束条件和对称性考虑进来的最佳方式是什么?如何确定和量化训练和测试数据是否来自不同来源等都是深度学习需要回答却至今未答的谜题。深度学习还是浅薄的。当下的深度学习网络大部分倾向于表征学习,而非真正的智能,很依赖于其训练数据,很难从有限的数据中学习到全局的东西。同时,在一些不断变化的情景下,这些网络也很难有很好的表现。去年,OpenAI的GPT-3在外网走红。GPT-3作为著名人工智能科研公司 OpenAI 开发的文字生成人工智能,以天文数字级别的1,750亿参数量引发轰动。GPT-3是迄今为止最强大的语言模型,庞大的参数量也让GPT-3几乎无所不能,包括答题、翻译、写文章,甚至是数学计算和编写代码。但GPT-3类似人类的输出和惊人的通用性只是优秀技术的结果,而不是真正的聪明。GPT-3的智能是天文数字级别的参数量和运算的叠加。可以看见,虽然深度学习在各科学学科的研究中已经取得了巨大的成功,但深度学习在持守优势的同时,也有一定的局限性,包括数据的局限和智能的局限。与此相对应的,就是为了突破局限而生的数据合成、迁移学习、3D对象理解等新生学科。任何领域的根本性进展和爆发必然要经历时间的考验,这些挑战是真实存在的,也正在被解释。 赞 (0) 相关推荐 72岁的图灵奖获得者,穿过深度学习的漫漫长夜 昨天,ACM把2018年图灵奖颁给了深度学习领域的三位学者.他们是:Geoffrey Hinton.Yann LeCun.Yoshua Bengio. Yann LeCun.Geoffrey Hint ... 几经沉浮,人工智能(AI)前路何方? 人工智能将和电力一样具有颠覆性 . --吴恩达 如同蒸汽时代的蒸汽机.电气时代的发电机.信息时 ... 2019年上半年收集到的人工智能开源框架介绍文章 2019年上半年收集到的人工智能开源框架介绍文章 TensorFlow基本使用 TensorFlow.js:让你在浏览器中也能玩转机器学习 人工智能学习框架TensorFlow渐近分析 TensorF ... 什么是机器学习、人工智能、深度学习,三者又是什么关系? 什么是机器学习,什么是人工智能,什么是深度学习,这些名词概念我们一直有听说,但是也很容易混淆 人工智能 人工智能技术希望使用计算机来构造复杂的.拥有与人类智慧同样本质特性的机器,这些能够代替人工工作的 ... 什么是深度学习?什么是类脑计算? 现如今,谈起人工智能我们都会想到的是"深度学习"(deep learning),无论是战胜李世石的AlphaGo,还是能够随意写出人类水平文章的GPT-3,它们的背后都依托的是这套 ... 陈根:用人工智能,解决“声子态密度” 文/陈根 人工智能.大数据.量子力学以及超级计算的结合,加深了人们对材料的理解,并且使人们不再只是依赖人类直觉去发现新材料. 事实上,过往的重大材料的发现都是科学家偶然间或者多次试验得到的.例如,人们 ... 文/陈根 锂离子电池使得轻量化的电子设备成为可能,电动汽车生产的快速扩张正得益于此。 但是,锂离子电池也面临电动汽车的里程限制,当前,世界各地的研究人员正在继续推动研究,以实现更大的能量密度(即在给定质 文/陈根 锂离子电池使得轻量化的电子设备成为可能,电动汽车生产的快速扩张正得益于此. 但是,锂离子电池也面临电动汽车的里程限制,当前,世界各地的研究人员正在继续推动研究,以实现更大的能量密度(即在给定 ... 陈根:离人工智能拥有触觉,还差一块阴影 文/陈根 为机器人赋予感官知觉是人工智能发展的必经之路.目前有科学家为机器人开发具有触感的电子皮肤.而现在,康奈尔大学的科学家正在寻求一种更简单的方法,使用阴影成像相机让机器人在被触摸时知道. 该实验 ... 陈根:短期肺部感染,如何引发长期肺部损害?文|陈根 文|陈根 之前,人们就意识到,急性呼吸道感染可能会导致慢性肺部疾病产生.例如,因呼吸道合胞病毒而住院的儿童,患哮喘的可能性是其他儿童的2到4倍.这种哮喘会持续很长时间,甚至是一生.然而,急性呼吸道感染 ... 陈根:人工智能助力医疗,追溯癌症起源 文/陈根 人工智能在医疗卫生领域广泛应用正形成全球共识.可以说,人工智能以独特的方式捍卫着人类健康福祉,除了在诊疗手术.就医管理.医疗保险发挥作用,基于算法的人工智能近年来更是推动着疾病诊断与药物研究 ... 陈根:人工智能,助力T细胞标靶预测 文/陈根 特异性免疫(specific immunity)又称获得性免疫或适应性免疫,它是由人体经后天感染(病愈或无症状的感染)或人工预防接种(菌苗.疫苗.类毒素.免疫球蛋白等)之后,而使机体获得的一 ... 陈根:人工智能入场癌症预测,精确且及时 文/陈根 人工智能作为一种新兴的颠覆性技术,正在逐步释放着科技革命和产业变革积蓄的巨大能量,并深刻改变了人类生产生活方式和思维方式.可以说,人工智能已然对经济发展.社会进步等方面产生重大而深远的影响. ... 陈根:人工智能下场设计,可否拥有真正的思维? 文/陈根 百度公司董事长李彦宏曾无数次提到"未来是人工智能的时代".对此,前百度首席研究员吴恩达解释说,未来有些事情可以不由人类大脑,而由人工智能把人从重复性的琐事劳动中解放出来, ... 陈根:人工智能,助力显微镜图像发展 文/陈根 显微图像处理是数字图像处理的一个重要研究领域,随着技术的不断发展,其已经在材料.生物.医学等领域得到了广泛应用.目前的显微图像处理通常利用图像采集系统将显微图像采集到计算机中再进行图像处理. ...