智能现实——使用 AI、AR、VR增强数字化双胞胎

使用 SAS Visual  Analytics 和 Autodesk  Forge 软件可以实现系统集成。在这个例子中，Autodesk Forge 被集成到SAS Visual  Analytics 的报告界面中。

作者 | Michael Thomas

“

人工智能和基于增强现实和虚拟现实之类的用户界面技术可以帮助数字化双胞胎的建模和实现，以改善企业的培训、运营和生产效率。

”

自文明诞生以来，人类智慧一直在创造和维护复杂的系统。数字化双胞胎的出现，将帮助人们实现更复杂系统的运作，并改善设计和生产效率。人工智能（AI）和扩展现实（XR）——包括增强现实（AR）和虚拟现实（VR）等，已经成为可以帮助管理复杂系统运作的工具。数字化双胞胎可以用 AI 来增强，而新兴的用户界面（UI）技术可以提高人们通过数字化双胞胎管理复杂系统的能力。

数字化双胞胎可以将人类智慧和 AI 结合起来，通过创建复杂系统的可用代表，产生更伟大的东西。终端用户不需要担心进入机器学习（ML）、预测建模和 AI 系统的公式，也可以利用它们的力量作为他们自己知识和能力的延伸。数字化双胞胎与 AR、VR 和相关技术相结合为用户提供了一个框架，将智能决策覆盖到日常运营中（图 1）。

▎图 1 ：数字化双胞胎可以用 AI 来增强，而新兴的用户界面技术可以提高人们通过数字化双胞胎管理复杂系统的能力。图片来源：SAS 和 IIC

为数字化双胞胎创建智能现实

物理双胞胎的操作可以通过传感器、照相机和其他类似的设备进行数字化，但这些数字流并不是唯一可以供给数字化双胞胎的数据来源。除了流数据，积累的历史数据也可以为数字化双胞胎提供信息。相关的数据可以包括不是由资产本身产生的数据，如天气和商业周期数据。此外，计算机辅助设计（CAD）绘图和其他文件可以为数字化双胞胎提供帮助。AI 和其他分析模型可以获取原始数据，并将其处理成帮助人类理解的系统形式。

AI 还可以帮助用户智能地选择内容。这样的指导可能非常受用户欢迎，因为用户输入工具与典型的键盘和鼠标非常不同。如图 1 右上角所示，人类可以将系统视为一个智能现实 （一个技术增强的现实），可以帮助他们进行认知和判断。

人类与数据和数据可视化的互动有着悠久的历史，从 William Playfair 在 17 世纪末发明的线图、条形图和饼图就开始了。而现在，当使用平板电脑、智能手机和 AR 头盔等移动技术时，数字现实被叠加在物理现实上成为一个视图。

考虑为数字双胞胎创造智能现实的第一步是了解整个用户界面的数据可视化选项。接下来，考虑一种报告整合方法，它可以在不需要新的硬件范式（如 AR 头盔）的情况下实现智能操作和分析。AR 头盔有可能为运营带来好处，但前提是要在应用中成功地设计为可用性。

可视化数字化双胞胎输出

在 Cap Gemini 的“运营中的增强现实和虚拟现实”报告中，来自奥迪 AR / VR 能力中心的 Jan Pflueger 建议采用以业务为先的方式进行可视化项目，“首先，专注于您的应用，而不是技术本身。确定用例后，请专注于信息处理和数据，以便为技术提供正确的信息。”

考虑呈现数字化双胞胎的 5 种技术方法和它们各自的能力。这些是传统的台式机 ；智能手机或平板电脑 ；单镜片 AR ；立体 AR，包括混合现实（MR）设备；和全沉浸式 VR（图 2）。

▎图 2：该表显示了呈现数字化双胞胎的 5 种技术方法：传统台式机；智能手机或平板电脑；单镜片 AR；立体 AR，包括 MR 设备；和全沉浸式 VR。每种类型的设备功能各不相同，这些差异可能会影响产品在不同应用下的使用效果。

每一类设备的能力各不相同，而这种差异可能会影响产品在不同使用情况下的可行性。这对 AR 头盔来说尤其如此。显示分辨率、视场和计算能力因产品而异。此外，关于将电池和计算单元放在耳机上，还是放在一个单独的连接模块上的设计决定，会对其舒适度和实用性产生影响。AR 头盔的另一个实际问题是它们与工作服是否可以无缝整合，如无尘室和食品加工操作所需的工作服。

在数字化双胞胎环境中进行报告

在一个交互式的视觉分析应用中，可以使用集成的 3D 模型创建智能现实报告。数字化双胞胎提供了可以与报告中其他对象进行交互的自定义可视化效果，包括在表格或图形中显示数据。

这种可视化方法遵循了长期存在的数据显示传统，不需要增加常规台式机设置以外的新硬件。用户界面显示在带有鼠标和键盘的典型计算机上。用户几乎不需要额外的培训就可以使用数字化双胞胎的功能。

增强现实的可用性和易学性

当从台式机转移到 AR 头盔时，应用程序设计人员将面临一系列新的可用性挑战。可用性是任何技术成为工具的基石。尽管 AR 是一种新的交互范例，但长期使用的可用性标准仍然适用。这些标准可以指导将 AR 与数字化双胞胎集成的工作。一个良好的界面应该是高效、易学、令人难忘、不经常出错且使用愉快的。

一些用户发现 AR 最初很困难，因为他们无法依靠自己的固有知识来操作系统。然而，这种挫折是暂时的，用户通常会有所改善。根据目标受众的不同，学习能力差异很大。为专家设计的工具具有较高的学习曲线，但整体功能更强大，专家的效率应证明延长培训时间是合理的。通过将现实世界中的信息与程序中的信息相结合，体验认知提高了 执行任务的效率。

与任何应用程序一样，错误率通常受界面设计的影响。一个好的界面设计人员将能够在人为因素的限制内很好地创建用户体验，这也适用于 AR。尽管交互方式不同于点击式，但系统设计人员已经考虑了可以识别的输入种类，并限制了使用过程中不可恢复的错误数量。多项研究表明，相比传统的交互范例用户更喜欢 AR。

创建深度学习模型的常见做法

深度学习模型是在大型数据库上训练的，几乎总是脱机完成的。花费数小时或数天的时间来训练模型并不罕见。训练完模型后，通过推理进行的模型应用程序将不再需要大量的计算资源，但仍比数字化双胞胎应用需要更多的计算资源。

对于某些应用，接近实时或稍微延迟的结果就足够了。例如，在某些计算机视觉缺陷检测中，在执行缺陷检测的同时保留生产批次可能是可以接受的。而在其他情况下，则需要实时推断。可以在有足够资源的云或数据中心中进行推断。对于边缘推理，具有足够计算能力的边缘网关正使其变得可用，但是这种特殊需求需要进行规划。

递归神经网络（RNN）是一类专门为序列或时间数据设计的深度学习神经网络。在物联网和数字化双胞胎应用中，有许多此类序列和时间数据的示例。随着时间的推移，许多传感器都在收集数据。随时间变化的测量顺序或模式可用于了解数字化双胞胎资产的有趣特征。一个示例是测量智能建筑或电网中的能源电路。电路上的能源使用模式可以捕获资产运行的开始或结束（例如电机启动），这预示着数字化双胞胎资产的运行变 化。RNN 的另一个用途是预测异常的时间序列数据。一个示例是预测太阳能发电场的能量输出。

使用序列数据与使用时间数据时，训练 RNN 的过程有所不同。用序列数据训练 RNN 的过程如下 ：

· 将数据分为顺序测量的各个部分。段的长度由数据的时间间隔和事件前兆的预期持续时间确定。

· 为感兴趣的事件创建目标变量，并将其用于标记事件发生的序列。

· 训练 RNN。在这种情况下，不需要双向模型拟合，因为测量数据始终会及时向前移动。

然后可以将训练后的模型用于推理。在大多数情况下，模型推断功能将足够快，可以在云，服务器或边缘设备中的实时测量流上使用。

基于机器视觉的数字化双胞胎

计算机视觉或机器视觉是一种功能强大的工具，它因能识别场景中的面部和物体而引起了众多关注。对于数字化双胞胎，它可以增加有关被监测物体的重要信息。可以通过与数字化双胞胎的 AR 界面来增强需要目视检查的任务。例如，计算机视觉可以通过比较成千上万的图像来检测人类可能无法检测到的异常，从而检测缺陷。而且，诸如红外线之类的专用摄像机通过组合多个信息流，甚至可以进行进一步的分析。

另一个选择是创建一个模型，该模型可以在零件上找到容易识别的特征。生成的图像可以使用卷积神经网络（CNN）创建分类模型。根据数据标签的好坏，模型可能具有各种复杂性。

通过收集大部分为良好的图像，可以创 建一个二元分类模型，该模型可以识别出具有已知良好图像或可疑异常图像的可能性很高的图像。通过用已知缺陷类型标记图像，可以创建识别各种缺陷的更复杂的分类模型。通过良好的位置识别，还可以分解图像并找到图像中有缺陷的部分。例如在半导体晶片生产中，可以基于具有缺陷的晶片的比例来量化预期的产量。

在模型被训练之后，需要确定推断的延迟并测试捕获的新图像，以及是否需要逐流传输图像并立即获得结果。也可以捕获一批图像并进行批量处理。还要确定是否可以在云中或服务器中完成推理，或者是否需要边缘网关。

当在智能现实的保护下进行适当的架构和集成时，物联网、人工智能和扩展现实技术可以开辟新的可能性，而数字化双胞胎提供了一种可用的表示方式，使得此类架构中固有的大量信息的价值被充分挖掘出来。

关键概念： 

■ 数字化双胞胎得益于扩展现实和人工智能的帮助。

■ 新兴的用户界面技术可以提高人们通过数字化双胞胎管理复杂系统的能力。

思考一下： 

您是在加速采用下一代技术，还是在看着竞争对手与您拉开距离？