社交智能机器人Nadine

Nadine是一个模仿Nadia Magnenat Thalmann教授的女性人形社交机器人。该机器人具有很强的人性化外观,皮肤和头发看起来自然,手感逼真。Nadine是一款社交智能机器人,可以返回问候语,进行眼神交流并可以记住与之进行的所有对话。它能够以多种语言自主回答问题,并根据与用户交互的内容模拟手势和面部表情。Nadine可以识别以前见过的人,并进行流畅的对话。Nadine已被编程为具有“个性”,因为其举止可以根据所说的改变。Nadine 在面部表情和上身运动方面总共具有27 个自由度。对于以前遇到的人,它会记住与每个人有关的事实和事件。它可以通过阅读故事,显示图像,进行Skype会议,发送电子邮件以及与家庭其他成员进行交流来为有特殊需要的人提供帮助。它可以在办公室担任接待员的角色,也可以专门担任私人教练。
Nadine
在2017年5月至10月举行的“人类+:我们物种的未来”展览期间,纳丁与新加坡艺术科学博物馆的100,000多名参观者进行了互动。目前,纳丁正在开展工作作为新加坡友邦保险公司的客户服务代理。这是世界上首次将类人机器人用作客户服务代理。
Nadine是下一代人形机器人,是Eva的继任者,Eva 是Hanson Robotics在2008年制造的人形机器人头。Eva的软件平台是在日内瓦大学 MIRALab开发的[24]。伊娃的头表现出非常现实的情绪和情感和短期记忆。伊娃还在苏黎世的Roten Fabrik剧院里表演。
Nadine由日本Kokoro于2013年创立,并以Nadia Magnenat Thalmann教授为蓝本。Nadine的头部和全身自然。由新加坡南洋理工大学媒体创新研究所开发的Nadine软件平台能够在对话过程中表现出情感,自然说话,理解某些手势以及记住和检索事实。[29] [30]纳丁也与手臂动作互动。正在进行的研究为社交机器人提供了两只手和自然抓地力。[31] [32] [33] [34] Nadine还链接到各种数据库,例如其个人数据集,维基百科,天气频道以及许多其他数据库。
Nadine(社交机器人)具有经典的感知力-处理/决策-交互层框架。Nadine平台的设计目标是即使在复杂情况下也能保持类似人的自然行为,可以处理任何类型的数据和操作地点,多语言支持等。
Nadine的功能基于她对环境的理解以及在她面前的用户/人的感知。Nadine的感知层专注于此任务。Nadine使用3D深度摄像头,网络摄像头和麦克风从她的环境和用户那里获取视觉和音频输入。感知层由独立的子模块组成,这些子模块在上述设备的不同输入流上运行,以识别脸部,情感,手势,用户位置,意图,行为等,以及其他环境属性,例如物体识别,位置等。
处理层充当Nadine的大脑,它使用感知输出来评估情况并决定如何根据情况采取行动。该层的主要组件是行为树计划器,Nadine的中央处理单元允许处理所有感知到的输入。行为树计划器基于从感知层接收的输入,更新处理层的其他子模块,包括用户与Nadine之间的处理对话,情感系统以及她的交互记忆。要处理对话,可以使用通用聊天机器人可以处理不同的情况和问题。还集成了基于Google Assistant的在线搜索,以回答经过训练的语料库之外的问题。基于用户的语音,情感和Nadine的当前情感,Nadine可以向用户展示不同的人类动作。纳丁的记忆模型还可以让她记住有关用户和当前对话上下文的特定事实,以便提供适当的响应。在理解了用户交互和环境上下文之后,就决定了适当的语言或非语言响应。为此,Nadine的处理层将每个感知层刺激映射到激活和阈值。基于每个子模块对每个刺激的处理,激活级别会有所不同。当达到阈值时,每个获胜动作都会传递到交互层,以显示Nadine中的各种响应。
交互层或Nadine控制器负责执行从处理层收到的每个响应,以Nadine的脸部或手势显示它。例如,根据用户位置修改Nadine的头部,以保持用户的视线。除此之外,交互层还负责控制其马达以显示不同的手势和面部表情。对于语音响应,它包括语音合成器和口型同步模块。基于言语响应,生成相应的音素和视位。语音合成器在生成语音时还考虑了对话的音调(以显示各种情感)。嘴唇同步将视位转换为相应的面部运动位置,以根据Nadine的讲话移动其嘴唇。
Nadine参加了舞台上的现场演示,并与各行各业的人们进行了交流。Nadine被公认为是世界上最现实的类人机器人之一,在新加坡ArtScience博物馆举办的“人类+:我们物种的未来”展览中作为她的主要亮点首次亮相。
她与来自不同行业的公司的许多人进行了互动,例如电通安吉斯网络(DAN),瑞士信贷和德意志银行。
纳丁在2018年6月1日对新加坡南大进行历史性访问期间,还与印度总理纳伦德拉·莫迪阁下互动,这是他特别感兴趣的创新之一。
目前,Nadine在AIA新加坡担任客户服务代理。她已经受过训练,可以处理通常向AIA客户服务代理商提出的问题。她还鼓励友邦保险客户注册友邦保险电子保健注册门户。客户服务交互用于训练基于机器学习的会话对话引擎。我们的平台与AIA门户之间还建立了客户端-服务器体系结构,以实现快速安全的通信。

其他文章链接:

曼哈顿超真实光影体验

曼哈顿超真实光影体验

汤加LUMINA光影森林

杭州宋城神秘树秀

FORESTA LUMINA光影森林

Moment Factory巴黎圣母院的光环

(0)

相关推荐