手术中透视自己!狂人科学家正利用3D成像技术,实现人体器官可视化

‍人们对更真实更新颖体验的爱好,似乎早就烙印在基因当中,并没什么道理可言。3D成像技术的成熟,拉开了二维向三维升级的帷幕,有望带动光学创新大革命,带给人类医疗技术的全新升级。

日前,日本宇都宫大学科研人员研发出一种全新的3D成像技术,通过飞秒(femtosecond)激光脉冲的多光子吸收技术,在液态立体屏幕中形成微型气泡,这类气泡能被固定在指定位置呈现立体图像。

研究人员表示,该技术未来将帮助医生在术前观察患者全息解剖图像信息,同时也能在建筑领域实现建筑和地形剖析图研究。此项技术的详细成果已发布在近期出版的高影响力光学杂志《OptiCA》上。

3D成像技术通过对物体进行三维扫描、电脑建模和渲染后,即可通过镜片、虚拟头盔等媒介呈现出三维虚拟图像。相比平面投影成像,3D成像技术能呈现更全面的物体,与三维成像产生交互体验,这也是不少增强现实企业着力开发3D成像技术的原因之一。

随着技术逐步成熟,3D成像技术已被广泛应用于娱乐、制造、医疗和建筑等领域。医疗和消费电子是3D成像技术需求快速增长的两大领域。在医疗领域,3D成像技术能为医生实现3D全息人体器官可视化,解决复杂的诊断问题。

动脉网(微信:vcbeat)将首次带你进入物理学家Larry Smarr的3D世界,一同体验其对自己进行结肠手术的全过程。

手术室中鲜有使用3D技术!

Larry Smarr在加州大学圣迭戈分校向人们展示了其肠道内的详细状况

在与Larry Smarr长久相处后,你会有幸受邀到加利福尼亚州的拉荷亚市参观他的结肠。

超过一百万的美国人患有炎症性肠病,Smarr也是其中一员。但与大多数人不同,Smarr还运营着一家掌握前沿科技的研究机构。该研究机构拥有许多超级计算机,大批的图形破解程序员,高耸的数字显示屏幕墙以及神秘的洞穴状自动虚拟系统(VR cave),这一切为Smarr研发其个人版本的数字3D技术提供了更好的支持,该数字3D版本被其称为“透明的Larry”。该版本的神奇之处在于其对结肠进行了完美的复制,包括肠道的每个角落,缝隙以及发炎的组织。

69岁的Smarr是一位物理学家,因致力于创建全国范围的校园超级计算机网络而被广泛知晓,该网络最终演变成今天的互联网。现在,他运营着一家名为Calit2的未来研究所。

动脉网了解到,该研究所位于加州大学圣地亚哥分校和欧文分校,致力于促进包括医学研究在内的许多领域的研究工作。在过去的十年里,他一直把技术运用在自己身上,用来确定个人隐私方面的数据,对于该试验会产生什么样的结果,他还未知。

但是当他的健康状况开始恶化,并且需要动手术时,Smarr看到了一个绝佳的机会,他要将其储存的大数据和先进的视觉效果加入手术室急需升级的软件中。

他希望他的研究所能在未来几年中,致力于研发手术中使用的自动化3D成像软件。

“我想,我比我的外科医生更了解自己内脏的情况,情况不妙。”LARRY SMARR表示。

去年11月份,在他手术开始的前几天,他拿自己做试验。当时他邀请他的手术医生Sonia Ramamoorthy来参观他研究所的洞穴状自动虚拟系统(VR cave)。

“我想,我比我的外科医生更了解自己内脏的情况,”他说,“它确实情况不妙。”

对于Smarr略显奇怪的邀请,Ramamoorthy并不感到吃惊,因为她和Smarr的关系一直就很特殊。“与我以往看诊过的病人不同,”她表示,“他带着一个PPT来看病。”

事实证明,Smarr发现当今现代化的手术室中也存在缺陷:即便是在大多数简单视频游戏中运用的计算机3D成像技术,对于医生来说也无法使用,尽管该技术可以检测到影响手术的结构变化

加州大学圣地亚哥分校的JÜRGEN SCHULZE提供了Larry Smarr病变结肠(绿色)的三维动画模型,以及脊柱(白色),脊椎盘(黄色),主要血管(蓝色和红色),膀胱(浅蓝色),脾(品红色)的三维动画模型。

当可以利用3D成像技术时,Eric Wickstrom表示“外科医生很喜欢” 。他是费城托马斯杰斐逊大学医学院的生物化学和分子生物学教授。十多年来,他一直致力于开发用于癌症手术的3D成像技术,并在2013年发出版了研究成果,其中显示外科医生认为3D成像技术大有裨益。

“外科医生们纷纷表示‘我们遇到的最大问题是在没有预料到的血管上进行开刀’。”Wickstrom说道。

但是Wickstorm表示,手术室中鲜有使用3D技术的,因为其太耗时,需要利用病人成堆的常规2D图片来创建逼真的图像。他表示,这个过程需要有更多的研究工作和程序员来支持,从而提高其自动化程度和速度。

Smarr的3D模型经历了多年的演进,虚拟现实专家Jürgen Schulze为此付出了大大量的辛勤工作:首先,他要通过一堆2D核磁共振(MRI)影像来给每个器官建模。然后,他将这些模型进行组合,创建一个适合在普通计算机显示器上查看的3D模型。此步骤的关键是要实现自动化,从而使得这类图像的日常使用更容易,更便宜。

一位外科医生参观“洞穴状”自动虚拟系统

当Ramamoorthy走进黑暗的洞穴,戴上一副3D眼镜时,她惊呆了。腹部区域的成像滞后于其他区域,因为该部位有许多密度不同的器官,并且腹部会随着肠肌肉的每次呼吸和收缩而移动。

Ramamoorthy很快看到了一个“禁飞区”,Smarr发了炎的结肠搭在膀胱上面。借助于手术工具的开口,尿液可以流进腹腔(所幸二者没有碰到一起)。她还注意到,Smarr的大肠增长得比预期多,并和他的脾脏粘在一起。作为一名经验丰富的外科医生,她立刻明白要改变手术计划,手术室中需要那些3D图像。

“2D影像的作用没用那么大,无法让我从3D的角度来思考,” Ramamoorthy表示。有了3D影像,她可以预先看到肠内状况,并且甚至可以在虚拟现实中穿梭。她表示“对我来说这就像是一个新鲜的糖果店。”但是当Ramamoorthy问Schulze是否会把3D影像引入手术室时,他感到不安。“我晕血。”他说。

最终,Schulze还是同意去手术室。

“他真是勇气可嘉。”Smarr表示。

手术的前一天,Schulze在手术室里摆弄着电缆,尝试能否将其手提电脑与手术机器人相连接,并且能否将影像投影在雅各布医疗中心的显示器上。该医疗中心造价9.43亿美元,在Smarr的手术前数天开业。新的手术室可以进行激光治疗,机器人治疗和核磁共振,似乎是先锋成像技术运用的理想之地。

手术室的一切正常。当Ramamoorthy给Smarr的身体固定四臂达芬奇手术机器人时,其他人在手术室里目不转睛地盯着墙上85英寸的显示屏。显示屏上的图像被划为四格,分别显示Smarr的3D虚拟结肠、核磁共振影像、机器人手臂上方进入他腹腔的影像以及结肠内部的近距离影像,该影像同样来自手术机器人

“看着我十几岁的儿子们和他们的Xbox游戏机,所有的技术都在那里面,但为什么不能用在病人身上呢?”SONIA RAMAMOORTHY医生表示。

“VR影像看起来像是星际飞船。”Smarr表示。Ramamoorthy将可视化技术比作在谷歌地图的导航下开车。她表示,“你知道你所在的位置,离目的地还有多远,以及前方是否有交通事故”,而不是只知道你可能在哪里。

尖端的3D成像技术总会成为该医院医生讨论的话题。现在,Ramamoorthy有机会将其在一名患者身上使用,她一直希望也能给其他的患者使用该技术,特别是在更复杂的手术中。

“看着我十几岁的儿子们和他们的Xbox游戏机,所有的技术都在那里面,但为什么不能用在病人身上呢?”她表示。

Smarr对他身上的72处数据采集点进行了跟踪,搜集了健康数据,并将其展现于他研究所里的显示屏墙上。该墙由32块显示器构成

一位懒人发现了甘蓝

大约在二十年前,Smarr开始痴迷于研究一切关于他身体的东西,最初是饮食。

Smarr在伊利诺伊州呆了二十年,在那里他负责国家超级计算机应用中心的建立,随后在2000年,他加入了UCSD(加州大学圣地亚哥分校)。他来到海边的校园时,身材肥胖,体重超标,并惊讶于周围人们的健康生活方式。

“我以前从来没吃过甘蓝,”他说。“但是我害怕学校会送我回来。”于是Smarr赶紧找了私人教练,采用区域减肥法,并开始服用营养补充剂。

Smarr减了30磅的体重,将身体的1/6重量变成了线条。但他仍然把他的旧驾照放在他的钱包里,以此提醒自己他以前的样子。没有人会轻易地选择做任何事情。Smarr想知道他服用的鱼油胶囊的数量是否是最合适的,所以他开始进行血液检测。随后,他开始对他所能收集到的所有数据上瘾了。他想要的数据越来越多。

“我看着医院,说道‘这些医生是怎么了?’” LARRY SMARR说。

他表示,“这就像一件毛衣上松开的线头,我只是不停的拽它。”他也遇到了许多难题:他要与那些告诉他不要自己验血的医生来抗争,而那些医生也不会给他验血,“他们说血检费用不能通过保险报销,血检是预防性的。”他自费做血检,据估计仅这一项他就花了数万美元。“我们总是说医疗要以患者为中心,但是我们还有很长的路要走” 他表示。

2005年,虽然他感觉良好,但是他的血检报告显示他的健康出了问题。他的C-反应蛋白(CRP)含量是健康上限的5倍,然后变成了15倍。“我不知道CRP是什么,所以我去PubMed中查询,并且用谷歌搜索。” Smarr表示,他虽然没有受过生物医学方面的培训,但曾给国家卫生研究院的几位主任做过顾问。他知道CRP是炎症通用的一种测量法。检测结果显示他的身体出了问题,但他不知道出了什么问题。

Smarr并没有认为他的结肠会出问题,因为他2005的结肠镜检查结果显示为正常。原来是因为他的疾病在许多方面是非典型的。他的病症是晚发型的,因此他的医生不期望他这种年龄的患者给肠子开刀,因为那样会使肠道伤痕累累,而且肠道的损伤处仅局限在结肠的一小部分上。

当CRP水平在2008年再次暴升后,Smarr去找了他的医生。曾是天体物理学家的Smarr表示,他立刻被送回了家。“他们问我,‘你有哪些症状?’我说,‘我手上有检测数据!’如果我发现天上有类似的情况,我会将所有的望远镜都瞄准它!他们却说,‘等你有了症状后再过来。’”

腹部的剧烈疼痛不久后便出现了。“这完全是可以预见的,”Smarr叹气表示。“我看着医院,说道‘这些医生是怎么了?’”服用了10天的抗生素后,疼痛得到了缓解,但他的CRP水平却没有完全得到控制。

他感到不安,决定看看他从23andMe网站得到的基因数据(他也是该网站的早期使用者)。他找到了一个SNP(基因组上单个核苷酸的变异),或者说遗传变异,表明他携带克隆氏病的风险增加了80%,可能会偶然发作

对数据有着异常的痴迷

2011年,他的CRP水平变得很糟糕,因此他开始收集粪便来分析,他对粪便做了90次检测,每次的费用为375美元,并且检测仍然在进行(千万不要打开他的冰箱)。

“如果我没有在10至15年前这么做的话,那我就错了。” LARRY SMARR表示。

Smarr的骨子里还是个计算机科学家,痴迷于粪便的研究,因为粪便包含了太多的数据,其中包括有关免疫系统和肠道健康的指示。“一克粪便中有十亿个细菌,每个细菌有五百万个DNA碱基,”他表示。“在我眼中它就像一个磁盘驱动器。”

到2011年中期,粪便的分析结果显示,他的乳铁蛋白的水平是正常上限的125倍,该蛋白与炎症性肠病有关。到2011年底,他的CRP水平已经达到健康极限的27倍。

结肠镜检查显示他的结肠壁要比正常情况下要厚,这是由于其自身免疫系统免疫造成的。

在Calit2,Smarr可以在数字显示墙上以图表的形式展示十年来他的健康数据——胆固醇,葡萄糖,胰岛素,维生素D,CRP等,这些是他跟踪的72个参数中的一部分,该数字显示墙由32块高清屏幕组成。“这就是我,我的身体”,Smarr表示。

当他意识到相同的技术无法被大多数人所采用时,他深刻的体会到,消费者应该将健康掌握在自己的手中,要在自己身上寻找数据。

一个有争议的观点是:许多医生认为,健康的人定期做血检弊大于利。

检测能出现假阳性的结果,毕竟,反复的检测会让人产生焦虑感,同时也使得医疗费用上涨。虽然事实证明,Smarr关注其自身的CRP水平是一件很正确的事情,但是在许多情况下,检测结果的异常仅仅是异常而已,并不一定表示健康亮了红灯。如果患者要根据检测结果急于去治疗每种疾病的话,他们要承担的医疗费用不仅会增加,也会给自己带来伤害。治疗不可避免地有副作用。

鉴于这些风险,普通内科学会甚至不建议健康的成人每年都接受体检或者是常规实验室检测。

但是,Smarr不认可这种做法。他知道人们认为他有点疯狂,但是他不在乎。“如果我没有在10至15年前这么做的话,”他表示,“那我就错了。”

“我感觉就像个要炸了的气球”

因为痴迷于他搜集的自身疾病的数据,Smarr不想接受治疗。“我不想弄乱这些漂亮的时间序列。”他表示。

对于他,咬着牙忍痛收集数据并不陌生。有次,他患上了严重的肺炎,却仍然整晚地在新墨西哥州的甚大阵射电望远镜下工作,不放弃宝贵的观察时间。“我是一个科学家,”他说,“为了获得数据,你要做你必须做的事。”

但是在2012年,腹胀和直肠出血的情况愈演愈烈,Smarr决定放弃数据收集。“虽然我致力于数据的获取,但是我并不蠢。”他表示。

他服用了疗程为一个月的抗生素和类胆固醇药物。他的CRP下降到1.3,这个水平是相对正常的,但他仍希望看到它变得更低。他注意到,随着CRP水平的降低他的症状并没有减轻,这很奇怪。

2016年,他进行了全身的断层(CAT)扫描,包括虚拟结肠镜检查,Smarr笑着说道,“他们从后面给你充气。”结果显示,某些地方肠壁过厚,而内腔或者结肠内部只有几毫米宽。确实太窄了,即便是儿科的结肠镜检查工具也无法通过。肠道有一部分出现异常扭结,粪便被堵在里面,产生甲烷气体。

“我的妻子说,‘哦天呐,你看起来像怀孕了。’”Smarr表示。“我感觉就像一个要炸了的气球。”

是该要做手术了。

2016年11月,根据3D影像,Sonia Ramamoorthy医生给Smarr做了结肠手术,手术持续了五个小时

未来手术中心主任Santiago Horgan医生在手术室的大屏幕上指出Smarr结肠需要关注的地方

切除“魔鬼的孩子”

借助于虚拟预览,Smarr的手术进行很顺利。Ramamoorthy利用机器人对发炎的结肠进行了切除和灼烧,将肠道接起来并重新打开了内腔。随后,Ramamoorthy取出了两大块丑陋的红色组织,Smarr称之为“魔鬼的孩子”。

VR专家Schulze感到庆幸,整个手术没有出现太多的血液,他见证了手术的全部过程。Smarr只失血15毫升,和一般的抽血量差不多。

3D成像的一个显著好处是让外科手术的时间变得更短,这通常会给患者带来更好的结果。Ramamoorthy估计,因为提前知道了预期的结果,五个小时的手术至少节省了30分钟,她将固定在Smarr身上的机器人安放在比以往更高的位置上,来处理他粘结的脾脏,这一过程又节省了45分钟。

Smarr术后恢复很快。但是作为一名患者,他很不寻常。

苏醒过后的数个小时,Smarr又开始收集数据了。他拼命地想要跟踪他术后CRP水平,以此来观察该手术如何影响他的身体。但护士告诉他,医生还没有批准进行CRP检测。Smarr拒绝让护士对他采血,除非他找到准许他和其他人一样进行CRP检测的医生。

Smarr展示了他肠道中的详细的多维图像

“他们以为我是个傻子,是个有问题的患者。”他表示。除了整齐的数据点,Smarr认为CRP检测应该是所有术后的常规检测,来检测诸如脓毒症这样的疾病。“这只是花费15万美元手术后的一个费用为11美元的血液检测,”他表示。

他如愿以偿,看着他的CRP水平在未来的几天中,从61降到42,再降到30,最后降到1以下,这是他十多年来CRP水平首次在1以下。动脉网发现,他还混入了Fitbit公司,这让职员们大跌眼镜,他的一组同事们在他的腹部下方装上了电极,希望能探测到他的结肠再次蠕动的瞬间。

Smarr现在完全康复了,他并没有放缓工作的迹象。

“你想抓住我的结肠吗?”Larry smarr表示。

他的目标是研发出能自动创建出器官3D影像的软件,他认为图形影像公司可以在三到五年内使用这样的软件。他还认为他的研究所可以在培训新一代的医学成像VR专家方面发挥作用。

现在,他为那些对3D成像感兴趣的医生提供展示其身体的数字之旅,有时他们会与Ramamoorthy一起讨论3D成像技术的魔力。

“你想抓住我的结肠吗?”当他把3D打印的结肠拿出来时他会问道。

只要有机会,他总要赞美Ramamoorthy的医术。“我喜欢我的新肠子,它太棒了。”在最近的一次病例研讨会上,他表示。

我们或许记不得自己看过的第一部3D电影是什么,但《Avatar》里神奇的世界,冰河世纪中栩栩如生的猛犸象和小松鼠跳跃的场景或许印象更为深刻。我想,3D技术发展到今时今日,应该不会再被认为只是为人们带来视觉上短暂新鲜感的一件玩具而已。科技随着时代不断加快脚步飞跃的今天,不论多么难以想象的创新,终究要回归到人本的需求。

尽管3D成像技术还没有大量应用于医疗,甚至是医疗手术当中,即便投影技术还无法完全进入人们的家庭生活,我想,某天远离医院的我们在家中就能得到医生的远程治疗,通过三维成像技术和医生面对面交谈自如,人和人的情感必然会无限接近,而科技则也将与我们的生活密不可分,如氧气一般与人类共同呼吸。这样的场景,也许并不遥远。Smarr努力尝试做的事情,也终将成为改变人类生活的一部分。

后台发送关键词即可获得相关好文!

网站、公众号等转载请联系授权

tg@vcbeat.net

「推荐阅读」

银川互联网医院全套政策解读,申请互联网医院、在线多点执业必看【附文件下载】

蛋壳周报0319:华大基因再次递交招股书,互联网医院在银川迎来里程碑事件

烧了很多钱还是不行,为何电子健康记录数据共享如此困难

动脉网所刊载内容之知识产权为动脉网及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。

(0)

相关推荐

  • 在医生眼里,手术室护士是什么样的呢?

    来源:吉大二院手术室 为 医 者 点 赞 医生眼里的手术室护士 他 们 是 轻 骑 兵 一袭绿色洗手衣 一顶蓝色手术帽 一张蓝色外科口罩遮住脸庞 她们轻盈的步履,巡回在寂静的长廊 她们柔美的嗓音,回荡 ...

  • 我希望你把手术做好,也希望你给我爱的微笑

    清晨7:40,一个实习同学正在背诵交班内容,20分钟后她将站在相同位置,面对20余名医生护士脱稿交班.当众说话,是成为医生的重要技能. 住院病人口服药物,常常因为散装发放,分不清具体药名,而存在一定安 ...

  • 写给新的一年(2020)

    2019.1.1 "有意瞄准,无意击发",新的一年从听罗胖跨年演讲<时间的朋友>开始. 2019.01.16 做一台手术,理一个光头,打一场篮球,看一本好书.保持我的节 ...

  • 老伴住院的日子(下)

    ◆ ◆ ◆ 文 | 东方欲晓 在家待了两天,9日一大早儿子开车把我们送回了医院. 9点多钟,值班护士来了,交待了一下老伴明天手术前须注意的事项和要做的准备事宜.一是要注意今天的饮食,以清淡为主:晚上1 ...

  • 胃口太好也有错?九旬老太太因便秘扯出“大问题”!居然还打破了医院的一项纪录

    "医生啊,我这个老便秘,弄弄通就能回去了吧",我院外一科病房里,牛老太太操着一口绍兴方言,似乎迫不及待地要出院回家了. 光看外表,你绝对看不出牛老太太今年已经93岁高寿了,比起同龄 ...

  • 科学家尝试利用3D打印铁琴研究敲击乐

    铁琴是一种由对应不同音符的金属条组成的乐器,可以通过棍棒敲击发出悦耳的声音,在过去曾被用于亚洲的千年盛典.由于制作非常复杂,这种乐器几乎每一个都拥有独一无二的声音和外形. 最近,哈佛.哥伦比亚和MIT ...

  • 英国科学家尝试利用3D打印石墨烯制造高容量电池

    随着可以的飞速发展,我们拥有的移动式电子设备越来越多.这些设备的所采用的技术日益先进,能够不断带给我们全新的体验的有趣的内容.但是,它们使用的电池似乎已经不能满足我们对电能日益增长的需求了.因为这个原 ...

  • 陈根:利用3D打印技术,创造和牛培育肉

    文|陈根 日本和牛是当今世界公认的高品质牛肉,其肉大理石花纹明显,又称"雪花肉".由于雪花肉多汁细嫩.风味独特,肌肉脂肪中饱和脂肪酸含量很低.营养价值极高,因而在日本被视为&quo ...

  • 是时候展示正真的3D打印技术了! | 《Science》《Advanced materials》重磅...

    我们都知道,增材制造由于其整体成形的特点,又叫做3D打印.但是,目前3D打印技术内部还有一种有趣的分类方法,就是把各种3D打印技术分成0D.1D.2D和3D打印技术. 0D打印:FDM.SLA.SLS ...

  • 英科学家计划用3D打印技术定制骨骼

    英国格拉斯哥大学的研究员正开展一项计划:用3D打印技术合成"定制"骨骼,用于帮助遭遇地雷爆炸而接受重建手术的患者,增加术中可保存组织的量. 全球估计每年有4300人因地雷遭遇肢体残 ...

  • 3D打印一座桥?格局小了,深圳利用3D打印技术造了一座公园!

    景观大数据 推荐优质设计案例,研究前沿设计技术,共享精品设计资料,学习高端设计课程. 1310篇原创内容 公众号 文末点击[在看+赞],第一时间了解最新干货知识 每天8:28,学习路上伴你成长 还记得 ...

  • 【综述】利用分子成像技术加强垂体腺瘤治疗决策

    <Journal of  Nuclear Medicine> 2021年7月刊载[62(Suppl 2):57S-62S.]英国Waiel A Bashari, Russell Senan ...

  • 机器视觉中的3D成像技术

    近年来,机器视觉技术变得越来越复杂,工业领域的图像处理更多的专注于3D传感器,而且越来越多的技术已经完善并且投入到实际应用中,包括焊缝的检测,以及在生产过程中对未分类部件进行仓拣或精确测量金属板.可以 ...

  • 3D成像技术来袭,分类和原理你了解吗?

    3D成像工作原理和分类 3D成像技术按照工作原理,首先分为被动式和主动式两类. 被动式视觉效仿生物的双眼视觉(binocular vision)原理,由至少2枚图像传感器(image sensor)构 ...