智能手机在介入放射学中的应用是一个相对年轻的研究领域。许多研究关注于作为准确针头定位/插入导航工具的应用,因为这是基于针头的介入治疗成功的关键步骤。因此,许多人正在探索使用虚拟和/或增强现实来绕过更大、更笨重且更昂贵的医疗设备/技术,以实现相当的准确性和效率。尽管尚未发表许多原始应用,但我们旨在回顾智能手机在IR中的最新探索,希望刺激智能手机VR和AR应用在介入治疗中的进一步发展。
虚拟现实(VR)在手术领域的应用经历了快速增长,如教学演示、培训、治疗规划和手术导航[17–19]。VR市场是增长最快的领域之一,其全球收入预计到2024年底将超过400亿美元,这说明了其在手术和图像引导疗法中的潜在应用[20]。然而,商业模式的资金并不等于证据。VR允许用户通过系统(如头戴式设备(HMD))观察并与虚拟环境交互[21]。在外科培训中,VR HMD已被用于创建抽象的虚拟手术室(OR)进行团队培训场景[22,23]。VR还可以模拟真实的医疗器械,其中计算机控制台生成并维持力反馈。目前,大多数手术模拟都集中在手术技能的训练上,从打结到胸腔管插入到柔性内窥镜检查[23],尽管未来还有扩展的空间。也有用于教授解剖学、空间解剖关系或特定程序模拟和规划的VR系统。
任何用于介入教育或模拟的护目镜、可穿戴设备或基于工作站的应用程序也可以通过智能手机或智能平板电脑应用。与基于护目镜的VR教育相比,基于智能手机的方法可能具有成本优势,同时仍然能够减少错误、时间和辐射暴露[24]。与护目镜相比,智能手机在采用此类教育和远程应用方面可能面临更少的障碍,这归因于访问、人体工程学、校准要求和注册挑战。此外,它们还避免了体积、汗水、无菌问题、视线深度线索、网络不适、适应性头痛、电池寿命或护目镜滑动等问题。因此,应广泛鼓励介入治疗中的VR应用探索。
与VR相比,AR将数字信息叠加到现实世界中,创建一个技术增强的现实,该版本通过固定[26]、移动[27,28]或可穿戴[29,30]AR设备可视化。最近发表的研究主要集中在针头定位/插入上,报告了这种特定介入治疗日益增长的需求的积极结果。实施小型且相对经济的智能手机作为AR平台可能足够准确,以消除对昂贵且笨重的医学成像设备的需求,尽管这在很大程度上取决于设备跟踪的准确性。一种常见的跟踪类型是基于视觉的,这通常通过检测被成像物品的标记或特定特征来发生。这种基于视觉的跟踪正在从基于标记的转向同时定位与映射(SLAM)技术,其中用户位置被主动跟踪,同时环境被同时映射。这是通过摄像头和惯性传感器(如加速度计和陀螺仪)实现的,它们为跟踪提供补充信息。如前所述,大量数据的处理可以在远程处理器上通过互联网数据共享执行[31]。处理器在快速程序内处理的能力尚待完全测试或了解,并可能取决于特定计算密集型任务的处理器集成和可用性。
几项研究已经证明了智能手机基AR系统在医疗程序中的潜在益处。在一项研究中,开发了一种智能手机基AR系统,以促进经皮手术中的针头轨迹规划和实时引导[32]。AR软件提供了图像分析、介入规划以及3D参考标记与术前图像之间注册的交互功能,从多个角度进行。一旦计划好,计划和优化的针头轨迹就被转移到智能手机上。在智能手机应用程序上选择所需的初始顺序目标(从可用的计划目标中选择)。摄像头视野中的3D参考标记允许连续、自动注册和治疗计划的迭代调整,随着智能手机的移动或针头的放置,智能手机显示会更新。此更新提供了实时迭代反馈,同时更新显示的虚拟轨迹和治疗计划(图7)。预分配的入口点、计划的针头轨迹、预定目标和针头深度的虚拟标记显示在手持智能手机上,并叠加到物理模拟患者上,从侧面正交和在线(沿针头轴查看)均可见。操作员使用智能手机显示器定位所选皮肤入口点,使针头与计划的AR轨迹对齐,然后推进针头(图8)。因此,操作员通过基于术前计划的即时实时反馈来推进和调整针头。这种智能手机基AR引导应用程序的使用导致AR引导针头的平均操作员插入误差比CT引导的自由手减少了78%,消除了术中CT扫描和辐射的需要,并使平均手术时间减少了66%[32]。另一种智能手机基AR系统在手机壳上集成了针头导向器。固定的针头导向器实现了真实空间与AR空间之间的连接,允许新的应用,包括在患者床边规划针头轨迹(图9)[33]。
智能手机AR还与智能眼镜基AR在系统准确性和针头放置性能方面进行了比较,用于3D打印模拟体上的经皮针介入治疗[34]。智能手机的目标叠加误差和针头叠加角度误差与HoloLens相当。然而,智能手机引导的针头放置显示出比HoloLens1更低的误差,但时间略有增加(87±17秒,71±27秒,分别为p=0.02)[34]。与常规CT引导的治疗相比,两种AR设备都降低了针放置误差。这两项研究有效地证明了智能手机基AR平台在指导经皮活检和消融方面的潜力。此外,智能手机AR在多探头复合消融方面比徒手消融具有更少的残留肿瘤和更高的效率[35](图10a,b)。智能手机AR的好处包括提高针头插入准确性、减少手术时间和降低辐射暴露。使用智能手机AR,这些好处得以实现,而无需承受基于护目镜的AR的成本、人体工程学、可及性、头痛和网络不适或其他挑战。最重要的是,智能手机AR允许经验不足的医生与专家相似的操作,实现介入治疗的标准化,可重复性和可靠性,并缩短学习曲线。
表1列出了在介入治疗中使用AR系统的智能手机应用程序,以及它们使用的主要智能手机传感器和益处。所有这些设备都使用摄像头和多个运动传感器作为导航系统。最常见的益处是AR系统允许实时数据提取和分析,这对于需要实时跟踪和针头导航的医生来说,可以转化为更准确和交互式的程序,特别是在活检和消融等需要实时跟踪和针头导航的程序中特别有用[24]。
与使用锥束计算机断层扫描(CBCT)引导的透视、智能手机上的AR引导和智能眼镜上的AR引导相比,在放置针头时,手术时间和辐射量有所减少,与常规徒手操作相比也是如此。两种AR平台都显著减少了针头放置时间,同时消除了辐射暴露。在术中,辐射暴露应始终降低到合理最低水平[7,24]。任何AR平台的另一个有趣特性可能是通过消除在控制室、监视器和患者之间来回查看的需要来增强集中力或注意力。在开颅手术规划中,使用AR系统减少了医师的注意力转移次数,同时在颅骨上描绘了叠加的肿瘤[36]。
虽然AR和智能手机应用在程序设置中的潜力巨大,但这种方法存在局限性。AR系统高度依赖于人体解剖学和程序器械的准确注册和跟踪系统。最近的一项研究实施了针头与智能手机的刚性固定装置,这可能是提高跟踪准确性的另一种方法,需要更少地依赖注册基准标记[37]。虽然刚性结构在骨骼、大脑或前列腺的手术或程序中注册已被证明非常成功,但由于功能运动、器官移位或通气平移导致的动态移动结构难以注册和跟踪[38],这为未来的探索开辟了另一片沃土。
与AR类似,移动平台已被用于在医学中双向训练和应用人工智能(AI)。可泛化的AI模型和算法可以在移动设备上实施,用于各种应用,如疾病分类。在某些情况下,智能手机用于从用户那里收集信息以训练AI算法,这些算法随后也可能部署在智能手机上。例如,在皮肤病学中,使用智能手机拍摄的脸部图像被用来训练一个模型,以检测和分级痤疮(全球痤疮严重程度量表),该模型在炎性病变方面的加权平均精确度为84%,在非炎性病变方面为61%,在炎症后色素沉着方面为72%[39]。一个智能手机AI系统经过训练,可以通过直接拍摄患者眼睛的智能手机摄像头检测糖尿病视网膜病变,其敏感度超过95%[40]。由于智能手机无处不在,深度学习所需的大量数据可以快速捕获、共享和整理。无论是图像、音频频谱图、睡眠活动、生命体征还是从可穿戴设备外围获取的数据,移动平台都为AI算法的训练、设计和实施提供了多种可能性。
智能手机在医疗保健中的采用和实施面临许多限制。采纳和实施智能手机的挑战包括对其能力的犹豫或不熟悉、系统不准确、使用中的可变性、设备错误,以及监管、许可、隐私和数据传输限制。许可、知识产权挑战和非传统商业模式也可能是将智能手机应用从实验室转化为临床的障碍。智能手机稳定臂和硬件通常也不是按照医疗级别的准确性和精度制造的。
尽管本综述侧重于程序和图像引导治疗应用,如介入放射学中的基于经皮针穿刺的手术(如活检和消融),但这只是教育、诊断和患者监测应用的一小部分。随着可穿戴设备和智能手机技术的发展,未满足的临床需求可能通过智能手机增强设备导航、教育或获取信息来解决。