图像引导手术和手术视觉领域的开发人员在创建能够显著改善手术工作流程的系统和应用程序时面临着独特的挑战。其中一个挑战是有效地结合多模态成像数据，例如术前 3D 患者图像与术中视频。这是在微创或机器人辅助手术期间为外科医生提供实时、准确指导的关键。
在这篇文章中，我们将向您介绍如何使用最先进的 AI 和成像技术，重点介绍 ImFusion集成NVIDIA Holoscan以实现实时传感器处理、AI 和 I/O。我们探讨了 NVIDIA Holoscan 如何帮助我们将管道性能提高一倍，并解释了如何结合两种成像模式来提高手术准确性、减少并发症并改善结果。
整合多模态手术数据的挑战
在微创或机器人图像辅助手术中，准确的导航和对患者解剖结构的详细了解对于手术的成功至关重要。
在术前计划期间，外科医生通常依赖多模式成像技术，包括 3D 诊断成像模式，例如计算机断层扫描 (CT) 扫描，来识别异常、指定目标区域并精确定位血管等关键结构。
然而，在现场手术过程中将这些术前 3D 图像数据集与术中视频无缝结合仍然是一项重大挑战，因为外科医生在手术过程中通常无法充分获取这些宝贵的术前数据。
下一代医疗设备作为手术室中的程序指导，需要使用术前和术中多模式数据的应用程序。这些应用程序必须同时执行多个计算密集型管道并执行以下功能：
实时追踪解剖结构：在手术过程中准确监测目标组织和器官的表面。
融合术前和术中数据：将 3D 术前图像与实时手术视频源无缝融合。
提供低延迟可视化：在手术期间提供融合的多模式信息，端到端延迟低于 100 毫秒，以实现充分的手眼协调和实时决策。
这需要人工智能、加速计算和高级可视化功能的独特组合。
NVIDIA Holoscan 是一个特定领域的计算平台，可提供临床边缘可扩展、软件定义和实时处理流数据所需的加速全栈基础架构。它包含一个参考应用程序库，可帮助开发人员快速构建和优化自己的 AI 应用程序，以进行生产部署。
NVIDIA 合作伙伴为 Holoscan AI 传感器处理社区贡献此库以共享应用程序，使您能够重复使用和贡献组件和示例应用程序，促进创新并加速先进医疗设备的开发。
融合术前和实时数据的实时 3D 手术指导
为了解决实时数据限制，总部位于慕尼黑的ImFusion公司和NVIDIA Connect 计划成员使用NVIDIA Holoscan创建了一个可以将术前数据与实时术中成像相结合的系统。
这种新系统以 3D 网格（一种准确描绘结构形状和轮廓的数字模型）的形式跟踪目标解剖结构的表面，并将其平滑地融入外科医生的视野中。网格从术前 CT 扫描中提取，然后近乎实时地叠加到腹腔镜摄像机的实时视频上。
这使外科医生能够直观地看到术中和术前患者的混合信息，并做出更明智的实时决策。
使用 NVIDIA Holoscan 和 NVIDIA IGX 进行实时手术数据融合
ImFusion 的解决方案基于其专有的 ImFusion SDK，该 SDK 捆绑了用于图像处理、配准、分析和可视化的算法。将 NVIDIA Holoscan 集成到 ImFusion SDK 中可实现全新级别的性能、效率和灵活性。
正如 ImFusion 计算机视觉主管 Alexander Ladikos 所解释的那样，“将 Holoscan 集成到我们的 ImFusion SDK 中帮助我们实现了近乎实时的性能，这对于外科手术应用至关重要。它加速了我们的开发过程，节省了我们的时间，并允许我们在未来的项目中重复使用现有和自定义的运算符。”
这种集成使 ImFusion 能够构建和运行低延迟、AI 增强、传感器流应用程序，为下一代软件作为医疗设备 (SaMD) 奠定了基础，使外科医生能够同时查看实时和融合的术前数据。
ImFusion 系统的核心是三个关键的神经网络，每个网络都使用 Holoscan 加速功能 [以及 REF APPS 的开源库]：
立体深度估计：该网络使用基于合成数据训练的最先进的 CNN 模型，从内窥镜立体视频帧生成深度信息。Holoscan 的实时处理功能可从视频流中即时估计深度，为手术指导提供关键的空间信息。
光流估计：通过计算帧之间的 2D 像素位移，该网络可确保在各种手术场景中实现稳健的性能。Holoscan 可快速进行 2D 流量估计，随后将其投影到 3D 空间，从而增强系统跟踪手术区域内运动的能力。
分割：该深度学习分割模型由位于比利时的全球领先机器人手术培训机构ORSI Academy开发，可识别手术器械和目标组织，这对于准确跟踪和叠加至关重要。Holoscan 能够快速分析分割组织区域中的 3D 流量估计值，因此系统可以实 时精确识别和跟踪特定的解剖结构和器械。
流程图显示了使用内窥镜的左、右图像流跟踪目标组织表面网格的算法组件。这些结果与已注册表面网格的初始姿势一起用于估 GCash 电话号码 计组织测距、转换网格、将其投影到 2d 并使用网格叠加层可视化相机流。
图 1. 三种模型估计目标组织的深度、光流和分割
基于这三个神经网络，ImFusion 的系统实现了令人印象深刻的实时性能。
术前 CT 的表面网格与底层解剖结构手动配准，然后在整个手术过程中自动跟踪。使用配备 NVIDIA RTX 6000 Ada GPU 的 NVIDIA IGX 开发套件，系统实现了约 13.5 Hz 的平均帧速率和低于 75 毫秒的端到端延迟。
虽然这种延迟还在继续进一步优化，但它代表着显著的性能提升，Holoscan 流量基准测试显示，与之前的硬件配置和 NVIDIA TensorRT AI 模型推理优化之前相比，端到端延迟减少了 50%。
Holoscan 组织追踪应用程序的屏幕截图。在 ImFusion 应用程序中，使用 Holoscan 组织追踪应用程序。表面网格呈洋红色，不会遮挡任何手术器械，并且适合底层目标组织。
图 2. 内窥镜视频中的表面网格跟踪
增强手术导航并加速开发
这种高水平的性能对于现场手术应用至关重要，因为它使外科医生能够收到即时的视觉反馈并提供前所未有的手术场景视图。
欧洲最大的机器人手术培训中心 ORSI 学院通过与 NVIDIA 和 ImFusion 合作来指导开发并加强其临床相关性，为这一进步做出了贡献。
ORSI 学院外科 AI 部门 Orsi Innotech 的负责人、工程师兼外科住院医师 Pieter De Backer 博士表示：“将实时视频源与叠加的 3D 网格投影无缝融合，可以增强我们作为外科医生在微创或机器人辅助手术中导航复杂解剖结构 流程等功能可以实时查看库存 的能力。例如，在具有挑战性的肾手术病例中，内生肿瘤表面网格的实时可视化可以增强肿瘤描绘，并最大限度地减少对健康组织的损害。”
Holoscan-SDK 集成用于低延迟任务和 AI 推理工作负载，加速了 AI 增强型 SaMD 的开发。它与 ImFusion-SDK 等领域特定框架的兼容性创建了一个强大的开发环境，可缩短开发时间并降低成本。
生态系统协作和开源贡献
ImFusion 与 NVIDIA Holoscan 之间的合作将微创和机器人辅助手术的可能性提升到一个新的水平，将 AI、加速计算和领域特异性相结合，以提高精度、性能和安全性。ImFusion 对 Holoscan 参考应用程序的贡献可供其医疗技术客户集成和构建，其多模式数据融合应用程序即将面世。
我们邀请您探索并为Holoscan 参考应用程序库做出贡献，以扩大生态系统，加速 AI 增强型医疗设备的开发，并推进实时传感器融合以进行手术指导。
相关资源
GTC 会议：通过实 单位电话号码的完整列表 时边缘 AI 实现增强现实在手术中的优势
GTC 会议：NVIDIA Holoscan，从手术到卫星的 AI 传感器处理平台
GTC 会议：构建高性能和支持 AI 的传感器处理应用程序
SDK：NVIDIA Holoscan
SDK: Clara火车
SDK：Clara Viz
讨论 (0)
+5
喜欢
标签
计算机视觉 / 视频分析|边缘计算|模拟 / 建模 / 设计|医疗保健与生命科学| Holoscan |中级技术|聚焦|特色|医疗保健|医学成像
