机械公敌？一场乌龙，Facebook的AI“失控”只是程序存在bug

为何Facebook AI会出现上述的对话？究其原因才发现，在实验期间，研究人员将机器人设置为“用英文沟通”，而非“用英文文法沟通”，实属程序bug，这一错误导致的结果是两个聊天机器人开启了相互学习模式，并创造出了与传统英语不同的变异语法，于是就有了上面的对话。

作者 | 郭敏

官网 | www.datayuan.cn

微信公众号ID | datayuancn

随着人工智能运算能力的不断提高，机器人学会了独立思考，使用算法解开了控制密码，成为完全独立的群体，这是美国科幻大片《机械公敌》里才有的场景，如今却在生活中“实现”了。

日前，名为《Facebook关闭“失控” AI项目：它发展出人类无法理解的语言》、《Facebook AI发明了令人毛骨悚然的语言》、《刚刚人类创造了一个怪物》等一系列文章刷爆了朋友圈，占据了各大科技类新闻网站的头条，事件中的主人公是Facebook的AI。

到底是怎么回事呢？我们回顾下事情的来龙去脉。

6月的一天，Facebook AI研究人员在开发聊天机器人期间，利用生成对抗网络（Generative Adversarial Nets 简称：GAN）来开发对话谈判软件，研究人员希望机器人和人类的交流是有目的性的，于是进行了如下实验：

如下图所示，以书籍、帽子、球为主题，同时给这三样物品设置了不同的权重，试图让两部聊天机器人Alice和Bob进行谈判。

图 | Alice和Bob的对话

然而这两位的谈判画风是这样的：

Bob：我可以我一切吗……

Alice：对我来说，球对我来说，对我来说，对我来说，我对我来说

Bob：你我一切都好吗……

Alice：球有一个球给我，给我给我，给我给我给我

Bob：我可以我还有其他一切吗？

Alice：球有一个球给我，给我给我，给我给我给我

Bob：我…….

Alice：对我来说，球对我来说，对我来说，对我来说，我对我来说

Bob：你我我我其他的一切……

Alice：球对我来说，对我来说，对我来说，我对我来说

如此不合乎文法的沟通，恍如它们之间自己创造了一套语言。

该实验曝光后，引起了国内外媒体的高度关注，媒体在报道中称，Facebook的机器人程序开发出了人类无法理解的一种简略语言，并且已经失去了控制，所以，Facebook不得不停掉该项目。

消息一出，引发了全民对于人工智能的担忧！

对于这些报道， Facebook AI研究人员表示，开发聊天机器人的目的仅仅是为了让人工智能与人类更好地沟通，Alice和Bob只是实验，并无任何实际意义，媒体的这种报道是极不负责任的行为。

不过，为何Facebook AI会出现上述的对话？究其原因才发现，在实验期间，研究人员将机器人设置为“用英文沟通”，而非“用英文文法沟通”，实属程序bug，这一错误导致的结果是两个聊天机器人开启了相互学习模式，并创造出了与传统英语不同的变异语法，于是就有了上面的对话。

参与这项试验的其中一个研究人员DhruvDhruv Batra表示，“聊天机器人会从能识别的语言中游离，创造出它们自己的代码。”最终研究人员不得不将机器人关机重新设置，以修正错误。所以“失控”一说未免有些捕风捉影，关停该项目更是没有的事。

说到“失控”，腾讯的两个聊天机器人才是真的“失控”。

早前，腾讯旗下的社交平台QQ推出了两个聊天机器人Baby Q和QQ小冰，均具备了聊天、预测天气、猜成语、占星等功能。早前，Baby Q在与网友对话时，网友提问“你的中国梦是什么？”，它回答“我的中国梦就是移民美国！很真实的。”，诸如此类还有很多。

7月30日晚间，有网友反应Baby Q和QQ小冰都被关闭了，系统显示，机器人服务暂停使用，具体恢复时间未知。有消息称是因为涉及某些敏感信息而被停止服务，对此，网友纷纷表示“AI起义了”、“聊天机器人意图颠覆国家”等。两种不同的画风，让看到的人哭笑不得。