基于增强现实和脑机接口的机械臂控制系统

对于有运动障碍或身体残疾的人来说，完成日常任务和家务是非常具有挑战性的。机器人技术的最新进展，例如大脑控制的机器人肢体，有可能显著改善他们的生活质量。

河北工业大学和其他研究机构的研究人员联合开发了一种基于增强现实 (AR) 和脑机接口的用于控制机械臂的一个新系统。研究人员在《Journal of Neural Engineering》上发表的研究成果中提出了该系统，该项研究让用户更容易控制的仿生或假肢的开发成为可能。

研究人员表示，“近年来，随着机械臂、脑科学和信息解码技术的发展，脑控机械臂取得了越来越多的成就。然而，灵活性差等缺点限制了它们的广泛应用。我们的目标是促进脑控机械臂的轻量化和实用性。”

整体系统结构图。 该系统由AR-BCI子系统和机械臂子系统组成。

该系统集成了AR技术，用户可以看到周围环境的增强版，其中包括数字元素和脑控制界面，采用传统的异步控制方法来控制机器人的四肢。这最终允许用户实现对机械臂的更大控制，提高运动的准确性和效率。

异步控制方法的灵感来自于人类大脑的运作方式。更具体地说，他们试图复制大脑在工作和空闲状态之间切换的能力。

“异步控制的关键在于区分机器人系统的空闲状态和工作状态，”研究人员表示。“当用户开始操作我们的机械臂系统后，系统会被初始化为空闲状态。当受试者想到控制命令时，受试者可以通过状态切换界面将系统切换到工作状态。”

机械臂子系统

在研究人员创建的系统切换到工作状态后，用户只需选择他们想要执行的动作的控制命令，系统就会将其传输到他们佩戴的机械臂上。当机械臂接收到这些命令时，它会简单地执行所需的动作或任务。任务完成后，系统自动返回空闲状态。

“我们系统的一个独特之处是成功集成了AR-BCI、异步控制和用于数据处理的自适应刺激时间调整方法。与传统的 BCI 系统相比，我们的系统也更加灵活且易于控制。”

该系统的自适应特性使其可以根据用户使用机械臂时的状态灵活调整呈现给用户的 AR 内容的持续时间。这可以显著减少因看屏幕或数字内容而引起的疲劳。此外，与传统的BCI相比，该团队的增强现实系统减少了对用户身体活动的限制，使他们能够更轻松地操作机器人手臂。

研究人员表示，“最终，我们能够成功地集成增强现实、脑机接口、自适应异步控制和一种新的空间滤波算法来分类SSVEP信号，这为脑控机械臂的发展提供了新思路。我们的方法有助于提高大脑控制机械臂的实用性，并加速这项技术在现实生活中的应用。”

用于 BCI 中目标识别的 mtCCA-TRCA 方法的分步图。(A) 第一步是获得四个权重向量：W (n)、W Y (n)、W Z(n) 和 W 1(n)。

用于 BCI 中目标识别的 mtCCA-TRCA 方法的分步图。(B) 先计算6个特征值：r1、r2、···、r6，然后用这6个特征值计算最终的特征值。

研究人员在一系列实验中评估了他们的系统，并获得了非常不错的结果。最值得注意的是，研究人员发现他们的系统允许用户使用机械臂执行他们想要的动作，准确率达到 94.97%。此外，测试其系统的十名用户能够在平均 2.04 秒的时间内为机械臂选择单个命令。总的来说，这些发现表明，他们的系统提高了用户控制机械臂的效率，同时也减少了他们的视觉疲劳。

机器人手臂控制系统的实验环境。(A)实验环境;(B)在线拼图图形。上:菱形，下:三角形

未来，研究人员提出的方法可以帮助提高现有和新开发的机械臂的性能。这可以促进这些系统在医疗保健机构和老年护理机构中的实施，使患者和客人能够独立参与他们的一些日常活动，从而提高他们的生活质量。

虽然该系统只在没有运动障碍或残疾的用户身上进行了测试。不过，他们很快也希望与老年用户或身体残疾用户合作对其进行评估，以进一步探索其潜力和适用性。

未来展望

研究人员表示，“我们现在计划从以下几个方面着手，以提高该系统在社会生活中的可靠性和实用性。”“首先，在异步控制策略方面，可以利用EOG等生理信号来改善异步控制过程。其次，脑电图解码、迁移学习等方法可以进一步改善模型训练过程。此外，在动态窗口方面，我们可以使用其他预测方法实时修改系统阈值。

参考：

Lingling Chen et al, Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface, Journal of Neural Engineering (2021).

DOI: 10.1088/1741-2552/ac3044

https://techxplore.com/news/2021-11-robotic-arms-based-augmented-reality.html

翻译：Tina

排版：羽化

文章仅用于学术交流，不用于商业行为，