深度学习黑箱:探秘人类编写的AI究竟在想什么
近日,针对这一问题,奥本大学(Auburn university)计算机科学和软件工程副教授 Anh Nguyen 对图像识别的深度学习算法进行了逐点剖析;无独有偶,加州大学欧文分校(UC Irine) 计算机科学副教授 Sameer Singh 正在制作归因图(attribution maps),以帮助理解为何自然语言算法懂得与你交谈,并说出一些涉及种族主义的话。
Nguyen 说,机器学习的想法可以追溯到 20 世纪 50 年代,但直到最近,计算机才能够有效地处理大量数据,并得出精确结果。到 20 世纪 90 年代,机器学习算法仅使用简单的概念,但很明显,现实生活中存在各种复杂的问题,从而需要更复杂的算法,这就是深度学习的意义所在。
神经网络非常擅长图像识别,当向它们提供足够的数据后,他们可以挑出人眼看不见的图案或差异。利用这一点,深度学习可以实现自动驾驶汽车的行人侦查或肿瘤筛查。
但是,当出现超出其参数范围的输入时,神经网络也会崩溃。在特定的,狭窄定义的任务中,深度学习通常优于人类,但是一旦神经网络失效时,往往会导致严重的后果。如果错误识别的图像发生在肿瘤患者身上或自动驾驶车上时,后果可能是致命的。
正如 Nguyen 所说, “归根结底,我们要搞清楚为什么神经网络的行为是这样,而不是相反。”
不仅如此,一些常见的图像也会让深度学习人工智能崩溃。把消防车图片倒过来,AI 就会看到一个大雪橇;放大一辆公共汽车的窗户,它在 AI 眼中就变成了一个出气筒。
“令人震惊的是,我们发现这些网络会在某种程度上被这些奇怪的图案所愚弄,这是我们从未想象过的。”Nguyen 表示。
为了找出原因,Nguyen 创建了一个叫做 DeepVis 的工具来分析神经网络算法。该工具能够将深入学习 AI 的完整程序分离开来,并显示出单个神经元正在识别的内容。从这里开始,Nguyen 能够打破深入学习AI的连续工作进程,从而理解它是如何一步步达到最终检测结果的。
但是,即使使用 DeepVis,黑箱的秘密可能也不会完全打开。神经元群的绝对复杂性可能让人类难以理解,毕竟它是一个黑箱。
2016 年,来自波士顿大学和微软研究院的研究人员为一种算法提供了 300 多万英文单词的数据集,数据从谷歌新闻文章中提取。研究人员重点关注那些最常用的英文单词,然后让算法做完形填空。
“男人(Man)之于程序员(computer programmer),那么女人(woman)之于什么”,机器通过算法“思考”后,得出答案:“家庭主妇(homemaker)”。
很明显,AI也会发出类似于人类社会的性别歧视和种族主义言论。为了找出其中的原因,专注于破解自然语言处理(NLP)算法黑箱并提出深度学习思维(deep learning thinking)这一概念的 Sameer Singh,使用了一种叫做归因图(attribution map)的工具:将语言插入到文本生成 NLP 算法中,归因图将突出显示某些部分,展示什么在神经网络内部“发光”——也许是一个特定的字母组合。
“突出显示的内容对模型的预测或输出有很大的影响,”Singh 说,利用这些信息,可以使用故意的对抗触发器来尝试发现问题,并理解深度学习算法中的联系。这足以让人们了解人工智能的想法。
虽然归因图也有缺点,不同的地图生成器可能彼此不一致,但是大概的理解可能是我们所能获得的最好的理解。
不得不承认,人类本身的神经网络也是一个黑箱。我们虽然知道一些物理结构,知道它们是如何工作,但对“思想”和“意识”的确切含义仍不清楚。
当然,随着未来科学家们在深度学习领域中不断取得的突破,由人类创造的 AI 黑箱终将变成“灰色”。
参考资料:
https://www.freethink.com/articles/deep-learning-ai
https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
https://www.re-work.co/events/deep-learning-summit-san-francisco-2020/speakers/anh-nguyen
https://dy.163.com/article/DLO1PQGS0512M9G9.html;NTESwebSI=76F031925F6DE464C143666795C218F1.hz-subscribe-web-docker-cm-online-rpqqn-8gfzd-di16l-678598t4xgp-8081