基于增强现实技术的电力设备工程技术服务应用探究

中国电工技术学会活动专区

CES Conference

为解决电力设备工程技术服务项目管理过程中专业技术人员短缺、服务成本高、技术问题处理不及时问题，基于现场工程技术服务经验，常州博瑞电力自动化设备有限公司的研究人员刘贵、刘亮、帅伟、曹杰、孙旭，在2021年第4期《电气技术》上撰文，将增强现实技术应用于工程技术服务项目管理各阶段业务中，通过市场调研确定解决方案，并将系统功能应用到项目管理工作的各阶段业务流程中，实现了工程技术服务的远程在线作业指导和过程的便捷记录与管理，由此达到降低服务成本、提高服务质量和项目管理水平的效果。

大型电力设备如特高压换流阀、柔性直流换流阀、高压直流断路器等在工程实施阶段需要设备厂家提供及时、高效的工程技术服务。现有工程技术服务在远程协作的可指导性和实时记录的便捷性方面存在不足，无法实现技术问题的在线作业指导和知识经验积累，并存在现场专业技术人员短缺、服务成本高和技术故障处理不及时的问题。

随着电网工程建设数字化和智能化水平需求的不断提升，增强现实（augmented reality, AR）在工程管理中的应用为解决现场技术沟通和信息共享问题提供了新的路径。AR远程协作工业制造与维修，主要用于复杂设备部位安装维护信息精准投送、显示和远程协助。

早在1990年波音公司的两位工程师Thomas Caudell和David Mizell提出使用一种抬头透视装置用于飞机航空线束的装配指导过程，并创造“Augmented Reality”这一概念用于描述这种将虚拟内容自动叠加在用户真实场景的技术。

2012年谷歌眼镜推出后，基于谷歌眼镜，波音公司联合应用软件开发商Skylight开发了线束装配应用软件和远程专家协助功能。该研究帮助安装工人节省了至少25%的装配时间，并显著降低了错误率。AR作为新一代的人机信息交互平台，目前已广泛应用于电力巡检和运维管理领域。

根据以上情况，本文将AR技术应用于工程技术服务项目管理过程中，对现有业务流程沟通记录方式进行优化，实现工程技术问题的即时、高效沟通指导和知识经验的实时便捷记录，并达到降低服务成本、提高服务质量和项目管理水平的效果。

1  AR远程协作解决方案调研

AR远程协作是基于AR眼镜和网络传输技术，利用网络传输从现场端传回眼镜佩戴人员的第一视角画面，帮助座席端进行现场问题诊断，同时，座席端也可以通过眼镜端近眼显示屏实时对现场人员进行作业指导的一种新型远程协作形式。整个协作过程不影响现场端人员的正常操作。AR远程协作系统组成如图1所示。

图1  AR远程协作系统组成

1.1  设备功能需求

现场技术支持过程，保证人员间即时音视频沟通和在线指导功能。具体包括硬件操作、软件功能和信息安全三方面需求。

硬件操作需求：①不影响使用者环境观察、人身安全防护及现场操作；②佩戴可靠、舒适、不易疲劳，操作简单易行，便于差旅携带。

通信软件功能需求：①支持计算机端、移动端和穿戴端多方在线视频语音通信；②支持在线辅助标记、座席端文件或屏幕共享；③支持视频内容记录和存储管理功能。

信息安全需求：技术服务过程涉及产品信息安全，需提供相关信息安全解决措施。

1.2  AR远程协作行业现状

目前行业内AR远程解决方案的区别主要在于AR眼镜硬件的技术路径和软件的功能开发。国外主流的AR眼镜厂商很多开始采用波导技术，如微软HOLOLENS2、Magic Leap One。

部分国内外厂商仍以自由曲面棱镜为主，如爱普生、亮亮视野、耐德佳，主要原因在于其工艺比较完善、良品率高，成本逐渐降低，性价比高。而波导技术由于其显示镜片纤薄、工艺难度较大、成本偏高，其应用也会相对受限。国内AR远程协助解决方案的主要问题在于技术与产业缺少深度融合的应用开发。

1.3  AR眼镜参数与功能对比

根据AR远程协作需求，初步调研了蒂姆维澳、微软、亮风台和亮亮视野共四家厂商。其中，微软公司的HOLOLENS2由于还未量产不满足工程应用要求被排除。最终调研方案有蒂姆维澳爱普生BT-35E、亮风台HiAR G200和亮亮视野GLXSS SE 三组方案。方案技术参数对比见表1。

表1  AR设备技术参数及功能对比

从表1可以看出，各家AR眼镜产品形态均采用分体式结构，亮亮视野采用单目镜片，虚拟屏幕大小、分辨率和视野等成像效果要弱于双目形式；但由于其成像位置位于眼镜一侧，在进行现实与虚拟图像的注视切换过程中不会遮挡视野，使现场作业人员的注意力更多关注眼前的操作。

摄像头输入方面，亮亮视野的摄像头参数与功能都要优于其他方案，并在产品质量、网络环境需求、防护等级和安防用品兼容性方面也有明显优势。亮亮视野AR眼镜搭载视觉处理芯片和人工智能算法引擎，实现了计算能效比的大幅飞跃。

远程协作功能对比：蒂姆维澳与亮风台AR眼镜支持本地视角与座席端桌面切换；亮亮视野则支持AR动态追踪标记，虚拟标记不随视角的偏移丢失标记目标，AR动态追踪标记功能如图2所示。

图2  AR动态追踪标记功能

蒂姆维澳与亮风台支持普通录像功能。亮亮企服平台的录像与标准作业流程功能可方便实现语音命令控制节点记录和生产作业指导。AR眼镜佩戴效果如图3所示。

图3  AR眼镜佩戴效果

AR远程协作软件支持公有云和私有云两种部署方式。公有云通过互联网加密传输和存储，而私有云则通过私有化网络或互联网加密传输和存储。软件私有云部署仅能部署节点覆盖范围，还需要考虑定期维护和硬件服务器成本。

AR远程协作解决方案建议采用亮亮视野GLXSS SE方案并采取公有云方式部署。

2  工程技术服务项目管理业务应用

工程技术服务项目管理工作主要包括安全生产、质量和进度管理、生产技术问题处理和知识经验积累，这些都需要通过沟通协作、作业指导和过程记录实现。下面基于工程现场作业指导经验，以亮亮视野AR远程协作系统功能为例，进行相关工程技术服务项目管理业务应用设计。

2.1  系统功能

1）作业记录

现场作业人员通过AR眼镜将作业过程的第一视角录像和语音打点标记上传至系统，并输出包含耗时和地理位置信息的直观作业报告，供企业分析决策。对比以往的手机录像记录方式，AR眼镜的视频记录和存储方式更为便捷、自然、智能和高效。组件检修过程作业记录如图4所示。

图4  组件检修过程作业记录

2）远程协作

远程协作可将AR眼镜第一视角音视频分享给座席端，同时提供语音、图文通信、AR标记和文档收发工具选项，远程协作过程的录像和图文消息记录均可以进行回看。对比传统的音视频通话软件，AR眼镜的可穿戴近眼显示特性可减轻现场作业负担、解放双手并辅以远程变焦和追踪标记功能丰富交互途径，提高在线作业指导效率。第一视角音视频回传如图5所示。

图5  第一视角音视频回传

3）标准作业流程

AR远程协作系统提供编辑工具，可将线性作业流程添加至系统中，附加图片或视频进行指导。现场作业人员从手机端下载标准作业流程，执行并标记每一步作业内容，系统输出作业报告和效率分析。对比传统的图片文字内容和纸质浏览方式，通过AR眼镜进行作业指导更为直观、便捷和高效。

采用AR眼镜标准作业流程逐步参考和记录作业过程，可以减少装配的错误率。同时记录的现场标准作业过程，也可以回传至厂内技术人员进行效率和质量分析，帮助其优化现场作业方式。标准作业流程编辑界面如图6所示。作业效率分析界面如图7所示。

图6  标准作业流程编辑界面

图7  作业效率分析界面

2.2  工程应用案例

2020年6月受全球新冠肺炎疫情影响，公司海外储能项目现场技术服务工作受阻。用户要求有经验的工程师现场或远程指导现场安装调试工作，同时不影响产品的使用。项目实施对远程沟通交互的效率和可操作性提出更高要求。海外储能设备工程技术服务现场如图8所示。

图8  海外储能设备工程技术服务现场

项目执行过程中，现场安装和技术服务人员通过使用亮亮视野AR远程协作解决方案实现多方的在线视频沟通，厂内售后人员可获得用户现场设备状态的清晰画面，并标记指引和确认现场进行安装调试作业。用户现场根据指引完成相应的安装调试作业过程，项目得以顺利实施投运。

3  结论

AR远程协作解决方案的电力设备工程技术服务管理应用对比传统远程沟通方式，现场安装调试人员或用户通过AR眼镜的第一视角画面多方共享和在线作业指导功能，如同技术人员亲临现场，保证协作过程的精准和高效；专业技术人员则可以实现多任务在线指导，实现资源的最大化利用；项目实施过程和问题处理的经验知识可以得到便捷记录和充分积累，为项目多层面、多维度评估和优化提供数据基础；对于危险偏远地区的紧急技术问题可快速建立响应，缩短故障修复时间，同时降低现场服务成本，提高用户体验。

随着大数据和人工智能技术的不断演化，机器学习逐渐掌握并分担人类思考工作，AR远程应用将人与人的沟通转为人与机器的沟通，构建完备的知识库并提升人机交互体验成为下一阶段研究的关键。因此，要注重产品数据的高效收集和深入挖掘，并关注信息虚拟交互技术的发展动态。AR远程协作不只是某一行业或领域的技术革新，而是人类认知交互技术发展的又一里程碑。

本文编自2021年第4期《电气技术》，论文标题为“基于增强现实技术的电力设备工程技术服务应用探究”，作者为刘贵、刘亮、帅伟、曹杰、孙旭。