混合现实技术在创伤骨科的应用与展望
作者：谢毅、张加尧、叶哲伟
来源：中华创伤骨科杂志, 2020,22(11)
随着社会的发展与进步，复杂多样的创伤疾患发病率也明显增加，这对创伤骨科医生提出了更严格的要求。近年来，数字医学迅速发展、尤其是混合现实技术，其作为数字全息影像技术中的一种新形式，通过在空间中呈现三维立体可视化的全新影像为创伤骨科带来了新的诊疗方式（图1）。
史蒂夫·曼在20世纪80年代初提出'介导现实'的概念，指在没有显示屏的情况下数字图像和实体的集成，以及虚拟世界与现实世界之间的信息补充和反馈的相关技术。混合现实技术是增强现实和虚拟现实的发展和延伸，其通过计算机和可视化技术模拟生成虚拟三维图像，然后将虚拟物体叠加在现实物体上，并使用辅助显示装置，可以看到逼真的叠加效果。混合现实打破了现实世界中的用户与虚拟世界之间的隔阂，实现了现实世界与计算机创造的虚拟世界之间的交互。
混合现实技术首先通过获取CT、MRI等影像数据进行三维重建，再通过渲染技术进行模块设定与参数设置，最后把模型载入到特殊设备中以实现基于混合现实的各项操作。混合现实技术在骨科应用的具体步骤如下：①采集DICOM格式数据并构建三维立体模型；②利用特殊的显示设备对虚拟模型进行显示；③虚拟模型与患者实体创伤部位的配准。由于骨折部位的各种结构被不同颜色渲染，整个3D模型可以从任意角度观察和进行清晰度调节，骨科医生可以对创伤部位结构有更直观的了解，影像资料的阅读也更简单、明了。借助于该技术，可以实现基于混合现实的手术方案精准制定和三维立体呈现。与传统医疗辅助设备相比，混合现实技术提高了手术的精准度和安全性，术后康复效果也更好[1,2]。
骨科医生可以在混合现实技术的辅助下利用图形处理技术、可视化技术和传感技术将骨折创伤部位的仿真虚拟模型呈现在现实世界，在不改变医生对客观事物感受的情况下进行叠加呈现，进而通过手势与配准技术对模型进行观察，以实现对骨折部位解剖结构的清晰了解，增加对手术不确定性的可控程度。Lee等[3]提出了一个混合现实支持系统，其结合了多模态数据融合和基于模型的手术工具跟踪，以创建一个支持骨科手术中螺钉放置的混合现实环境。这种基于混合现实技术的交互式3D混合现实环境提供了直观的了解手术部位的方式，并支持骨科医生在螺钉置入过程中快速定位入口点和确定手术工具的方向，该实验研究结论证实了基于模型的跟踪和多模式成像的混合现实系统在骨科手术中的可行性。混合现实系统在创伤骨科的引入将会打破传统影像设备壁垒，在创伤诊疗、风险规避及术后康复等方面创造良好的效果。
（一）混合现实技术在医患沟通方面的作用
医患关系紧张一直以来是一个复杂的社会问题，创伤骨科患者多由交通伤、坠落伤及钝器伤等高能量损伤导致，情况紧急、多样，在医患关系处理过程中遇到的沟通问题或许更为棘手。通常情况下医患沟通不畅往往由以下2个因素引起：一是医患之间医学知识的储备量不一样导致患者理解困难，不易接受；二是医患之间缺乏相互信任而导致低效沟通。尽管目前使用的3D打印模型已应用于术前沟通及手术方案设计等方面，但混合现实技术的实时性、多角度性及现实交互性是3D打印技术所不具备的。此外，由于3D打印所制造的产品都是个性化的，不能够批量制造，存在生产造价较高、生产周期长等问题。利用混合现实技术创建的重构虚拟模型具有立体、逼真及动态等特点，医生通过向患者和家属多角度展示骨折创伤部位的三维可视化模型，能够使患者对自身状况有更深刻的了解，家属对医生所给出的治疗方案的信任也得到加强，这在术前减轻患者焦虑和减少医疗纠纷方面能起到重大作用。
（二）混合现实技术在医疗协作方面的应用
在以往的创伤骨科诊疗过程中，医生之间进行合作诊疗时的沟通方式仅限于常规检查和影像结果。创伤骨科医生由于经验和学术观点的差异，在治疗方案上对于一种类型骨折可能有不同的见解。如果利用混合现实技术重建的特定三维模型来进行病情讨论和学术交流，这些复杂病灶结构将更加直观，有利于技术难点的解决和手术方案的优化。另外，通过对患者身体状况和骨折部位资料的即时共享，不同科室的医生在进行会诊前利用专业特长也可以对创伤骨科患者提前评估，在进入会诊室前对患者的病情已经了然于胸，可为最佳治疗方案的制定提供有力工具，治疗方案变得更加精准、有效(图2)。
（三）混合现实技术在创伤骨科手术方面的应用
1．术前评估与规划：
在创伤骨科手术中，医生对一些复杂的创伤骨折，如颈椎、骨盆、复杂四肢多发伤的治疗，其获取医疗信息主要依赖于X线片、CT、MRI等影像资料的推理与整合，然后再根据经验判断病灶结构状况。虽然目前CT三维重建已经可以重构出骨折的三维结构，但骨折和创伤周边血管、神经结构关系精确还原再现往往非常困难。面对复杂的骨科创伤状况，骨科医生丰富的临床经验对手术的顺利进行十分重要，这有赖于医生对创伤骨折部位解剖结构的精准定位，这就要求骨科医生具有丰富的解剖知识和临床操作能力。
混合现实技术有望弥补以上缺憾，该技术可以利用三维重建软件进行可视化重建，分别创建骨骼创伤部位、动脉系统、静脉系统模块，动态显示各模块相互关系，降低手术难度。医师们再利用该类系统将骨折创伤部位的三维虚拟模型叠加到患者身上，虚实融合,并结合创伤骨科患者的骨折情况，以评估失血量及血管、神经损伤状况。在术前进行手术入路的选择时通过对置入螺钉的部位、粗细、角度和深度进行设计，使得手术方案更加合理，从而提高手术的准确性和安全性（图3）。黄熙谋等[4]针对老年骨质疏松患者，采用计算机辅助设计 混合现实辅助手术优化的方案，证实可以明显缩短内固定所需的手术时间，从而降低高龄患者的手术风险与并发症。此外，优化的股骨颈置钉通道增加了股骨颈皮质支撑，提高了临床疗效。
2．术中辅助导航：
随着现代外科学的发展，手术操作的复杂性和难度均增加，经常需要在狭小的空间进行操作，传统手术导航技术并不能在术中将患者的手术部位以立体、直观的形式展示给手术团队。基于混合现实的手术导航系统可以在一定程度上弥补传统导航技术的缺陷，下面简单介绍混合现实手术导航系统：该系统由三维可视化医学影像处理系统和定位跟踪系统组成，首先术前采用多种分割算法对获取的医学影像进行精确分割并进行三维重建，术中采用三维扫描仪实时扫描创伤骨折部位获取其三维信息，进而获得患者创伤骨折参考坐标系与三维医学影像坐标系间的转换关系，实行配准注册。通过对光学畸变、系统安装等内外参数的校正，达到实时术野图像与三维医学影像的快速精确配准。采用基于器械模型匹配与红外标志点立体跟踪相结合的方法实现实时跟踪定位。应用混合现实技术将实时图像与三维医学影像叠加显示，并结合跟踪系统获得的位置姿态信息，完成器械周围区域内重要结构的三视图和三维立体视图等不同方位、视角、层次的动态显示[5,6]。
Cartucho等[7]通过基于混合现实的可视化平台来促进手术计划和决策，该平台整合了用于术中手术指导的多模式成像数据，构建了3个可视化组件，并引入了一套新颖的交互功能，包括滚动体积数据和调整虚拟对象的透明度，以免妨碍手术现场的手术视野。此外，还进行了试点评估，大多数外科医生认为该平台很直观，表示会在手术室中使用，进行术中手术指导。德国Scopis手术导航系统供应商（现已被美国Stryker高科技医疗设备公司收购）还开发了基于混合现实的手术导航系统，该系统选用光学或电磁定位技术，直接将规划的数据可视化显示到内镜图像上，且连续地规划目标结构的距离信息，附加的导航器械能够获得更加精确的解剖结构定位。导航系统的显示模块在同类产品的三视图和内窥镜显示上增加了目标点位置指引、距离信息和测量功能等，提供了较为全面的跟踪信息和解剖结构关系展示效果[6]。
在创伤骨科领域，基于混合现实技术的手术导航方式较传统手术导航具有明显优势，通过混合现实技术既能较好地重建虚拟图像，又可以与现实环境深度整合，从而有助于实现手术过程精准定位，还可以为骨科手术医生提供术中实时的立体三维导航，减少执行复杂操作的判断时间和脑力工作量，降低手术风险。相比其他传统导航技术，骨科机器人存在如伦理、责任人、机械臂活动范围有限、操作过程人为不可控、机器人费用高昂不利于普及等问题，3D打印导板存在制作时间、导板消毒、术中是否贴服、操作过程不可视、对金属过敏等问题，传统计算机导航具有不可视、设备昂贵及精度不高等问题[8,9,10]。
3．术后康复治疗：
创伤骨科患者在恢复期常常合并不同程度的功能障碍，一方面从心理上惧怕疼痛不敢活动，另一方面不合理的训练也会影响其愈合。混合现实技术通过在现实基础上叠加构建虚拟场景，模拟出术后训练所需的一定场景，从而能够科学地制定功能不愈合患者关节活动的治疗方案。混合现实技术较传统康复治疗训练方法有如下优势：①混合现实系统可以按照患者的身体状况设计训练计划，更加个性化；②混合现实系统不需要进行额外的器械耗材，场景真实且安全；③混合现实系统可以即时反馈治疗信息，并对患者健康资料进行储存，以方便医生及时掌握患者的恢复情况。在创伤骨科患者的整个康复过程中，由医护人员提供科学的训练计划，同时辅以趣味性项目增加患者的积极性，这种注重个性化与整体性的康复模式将打破传统康复方式的局限性[11,12]。
（四）混合现实技术用于多学科、多中心远程医疗会诊
传统的远程医疗主要依赖于电视监护、电话远程诊断、互联网咨询诊断，但是在新时代背景下人们对医疗质量和效果的要求越来越高，且我国幅员辽阔，对创伤骨科的远程会诊发展提出了更为严峻的挑战。基于混合现实技术云平台的远程会诊有望突破以往远程医疗的弊端，利用混合现实技术在手术现场通过布置在手术区域上空的高清摄像机对创伤骨科手术情况进行实时拍摄，然后使用高清视频转播将画面传输到远程专家处，专家的指导意见诸如识别标记重点区域、操作指导意见等通过增强现实技术可以实时呈现于手术视野内，真正将远处专家的指导意见实时带入手术现场（图4）。混合现实全息影像技术的出现不仅使3D空间信息的实时传递、直观表达、准确理解成为可能，更跨越了虚拟世界与真实世界的鸿沟，真正为远程外科的发展提供了可靠的技术保障，给骨科医生带来了新的诊疗模式。
利用混合现实云平台对患者状况进行全方位了解，从而进行远程会诊是现代医学的一个重要发展方向，这将会打破传统医疗的藩篱，最终促进开放的医疗资源共享平台的发展。
（五）混合现实技术在创伤骨科手术培训方面的应用
目前，临床解剖基础知识对许多年轻骨科医生、甚至中年医生来说都是难点，一位成熟骨科医生的成长周期至少在10年以上，具有丰富解剖知识和手术经验的专家成长周期往往更长。创伤骨科手术培训也面临诸多难题，例如：①骨科解剖结构复杂，需要学员具有良好的空间重构能力；②实体标本价格昂贵，尸体解剖教学资源匮乏；③手术要点与实践操作脱节。混合现实技术以其自身优势和特点有望改善传统骨科医学教育中存在的缺陷，使骨科教学更加高效、精准和直观。现阶段，数字模型仅充当学习的辅助工具，还不具有对解剖变异的预测和解剖多样性的展示，所以依然需要有经验的老师予以指导。混合现实技术用于教学，弥补了解剖标本的不足、场地限制等传统教学短板。Giselle和Defino[13]提出基于混合现实技术的手术模拟是一个相对较新的领域，可以用来提供外科手术培训教育。该项实验中16名经验丰富的脊柱外科医生对混合现实模拟器进行评估，其中用于脊柱手术的虚拟和物理模拟器得到了专家外科小组的批准，手术团队认为这种虚拟模拟提供了一个高效的训练环境，显著提高了外科解剖学和手术策略的教学，这些工具的组合可能极大地提高培养效率和缩短创伤骨科医生的培养周期。面对国内医疗资源紧缺、青年骨干医生成长期长的问题，混合现实技术将带来新的解决方案，应用前景乐观。
混合现实在骨科解剖教学和手术入路培训的应用具有独特的优势，但也存在一些问题。比如物理标本经过福尔马林浸泡和三维重建，图片有一定程度的失真，导致一些细微差别看不清楚。目前，混合现实虚拟手术还不能取代物理解剖操作，混合现实虚拟操作与物理解剖的体验有着本质的区别，如何合理安排混合现实虚拟实验和物理解剖操作的比例，是教学中需要解决的问题。
混合现实技术在创伤骨科术前评估、术中导航及术后康复等方面的应用将会有力提升医疗质量，改善医患关系。但从总体上来看，骨科混合现实手术系统的开发还没有达到预期效果，目前混合现实的实现大多采用HoloLenss设备，对于实际的应用与体验仍存在许多挑战，例如：①头戴式设备体积相对较大，不利于医生进行手术操作；②精度和延迟问题，从而导致与三维骨折模型的交互不够自然；③由于辐辏-调焦冲突会使人产生眩晕感，医生长时间佩戴容易感觉眩晕，不适合在手术室中持续使用；④由于注册错误、层间干扰、渲染质量差等问题可能会影响解剖结构的判断。医疗操作是需要绝对严谨和规范的，混合现实技术在创伤骨科的应用还有很长的一段路要走，但随着技术革新，相信这些缺点在不久的将来会得到改进。我们预测混合现实设备在未来将会重点向高分辨率、低时延、轻型化等方向发展；图像处理方面，眩晕控制和视点渲染将成为下一步突破方向；交互技术方面，惯性动作捕捉、光学跟踪、语音识别等多项技术将进行优化。如果这些问题得到解决，将极大地促进创伤骨科的发展。
智能化、数字化、精准性是创伤骨科未来的发展趋势，而混合现实技术作为新一代的数字技术也必将成为行业新风潮。我们需要加强培养混合现实技术的专业人才，充实该领域的科研队伍；其次医生应该推动混合现实技术在医院的推广与应用，不断优化临床治疗方案。相信通过各领域的共同努力，混合现实技术将给广大骨科患者带来福音。
参考文献
[1]HuHZ, FengXB, ShaoZW, et al. Application and prospect of mixed reality technology in medical field[J]. Curr Med Sci, 2019, 39(1): 1-6. DOI: 10.1007/s11596-019-1992-8.
[2]张加尧，吴星火，冯晓波,等.混合现实技术在医学领域的应用[J].中华实验外科杂志, 2019, 36(1): 179-181. DOI: 10.3760/cma.j.issn.1001-9030.2019.01.062.ZhangJY, WuXH, FengXB, et al. Application of mixed reality technology in medical field[J]. Chin J Exp Surg, 2019, 36(1): 179-181. DOI: 10.3760/cma.j.issn.1001-9030.2019.01.062.
[3]LeeSC, FuerstB, TatenoK, et al. Multi-modal imaging, model-based tracking, and mixed reality visualisation for orthopaedic surgery[J]. Healthc Technol Lett, 2017, 4(5): 168-173. DOI: 10.1049/htl.2017.0066.
[4]黄熙谋，万磊，梁笃.基于骨质疏松MR模型CAD辅助优化股骨颈置钉通道研究[J].实用医学杂志, 2019, 35(13): 2090-2093. DOI: 10.3969/j.issn.1006-5725.2019.13.013.HuangXM, WanL, LiangD. Study on optimization of femoral neck nail channel assisted by CAD based on osteoporosis MR model[J]. The Journal of Practical Medicine, 2019, 35(13): 2090-2093. DOI: 10.3969/j.issn.1006-5725.2019.13.013.
[5]王满宜，王军强.计算机辅助导航骨科手术及医用机器人技术在创伤骨科的应用[J].中华创伤骨科杂志, 2005, 7(11): 1004-1009. DOI: 10.3760/cma.j.issn.1671-7600.2005.11.003.WangMY, WangJQ. Medical robots and computer assisted navigation used in surgery of orthopaedic trauma[J]. Chin J Orthop Trauma, 2005, 7(11): 1004-1009. DOI: 10.3760/cma.j.issn.1671-7600.2005.11.003.
[6]陈晓红，赵志奇，李文涛,等.手术导航的发展历程及应用[J].国际耳鼻咽喉头颈外科杂志, 2019, 43(3): 181-186. DOI: 10.3760/cma.j.issn.1673-4106.2019.03.013.ChenXH, ZhaoZQ, LiWT, et al. Development and application of surgical navigation[J]. Int J Otorhinolaryngol Head Neck Surg, 2019, 43(3): 181-186. DOI: 10.3760/cma.j.issn.1673-4106.2019.03.013.
[7]CartuchoJ, ShapiraD, AshrafianH, et al. Multimodal mixed reality visualisation for intraoperative surgical guidance[J]. Int J Comput Assist Radiol Surg, 2020, 15(5): 819-826. DOI: 10.1007/s11548-020-02165-4.
[8]李明，黄迪超，李海洋,等.骨科机器人导航手术的研究进展[J].中华创伤杂志, 2019, 35(4): 377-384. DOI: 10.3760/j.issn.1001-8050.2019.04.014.LiM, HuangDC, LiHY, et al. Research progress of orthopaedic robot navigation surgery[J]. Chin J Trauma, 2019, 35(4): 377-384. DOI: 10.3760/j.issn.1001-8050.2019.04.014.
[9]WuXH, LiuR, YuJ, et al. Mixed reality technology-assisted orthopedics surgery navigation[J]. Surg Innov, 2018, 25(3): 304-305. DOI: 10.1177/1553350618771413.
[10]WuXH, LiuR, YuJ, et al. Mixed reality technology launches in orthopedic surgery for comprehensive preoperative management of complicated cervical fractures[J]. Surg Innov, 2018, 25(4): 421-422. DOI: 10.1177/1553350618761758.
[11]ColomerC, LlorensR, NoéE, et al. Effect of a mixed reality-based intervention on arm, hand, and finger function on chronic stroke[J]. J Neuroeng Rehabil, 2016,13(1): 45. DOI:10.1186/s12984-016-0153-6.
[12]SauerIM, QueisnerM, TangP, et al. Mixed reality in visceral surgery: development of a suitable workflow and evaluation of intraoperative use-cases[J]. Ann Surg, 2017, 266(5): 706-712. DOI: 10.1097/SLA.0000000000002448.
[13]GiselleC, DefinoHL. The role of mixed reality simulation for surgical training in spine: phase 1 validation[J]. Spine(Phila Pa 1976), 2018, 43(22): 1609-1616. DOI: 10.1097/BRS.0000000000002856.