Mixed Reality Navigation in der Thoraxchirurgie: Holografisches Overlay durch automatisierte Registrierung

Hintergrund In der chirurgischen Planung und Lehre hat die Visualisierung der Bildgebung in einer immersiven erweiterten Realität bereits ihren Mehrwert gezeigt. Um die Translationsleistung des Chirurgen von der 3D-Visualisierung der präoperativen Bildgebung zum realen Operationssitus weiter zu verbessern und damit die Navigation zu ermöglichen, ist eine anatomische Synchronisation virtualisierter Bildgebung und Patient notwendig. Dieser Prozess wurde bisher manuell mit entsprechend niedriger, und vor allen Dingen inkonsistenter Präzision durchgeführt. Wir beschreiben die Umsetzung und Validierung unseres hierfür entwickelten am synthetischen Modell.

Material und Methode Die Punktwolken wurden mit einem Sprytrack 300 (Atracsys LLC) generiert. Die Registrierung der Referenzbildgebung erfolgte mit der Imfusion SDK (Imfusion GmbH) und wurde anschließend mittels eigens entwickelter Unity (Unity Technologies) Applikation in Mixed Reality durch das Head-Mounted-Display (Magic Leap 2, Magic Leap, Inc.) projiziert. Die Präzisionsmessungen wurden im Koordinatensystem des Sprytrack 300 durchgeführt, mittels einer IZI “Disposable Passive Blunt Probe”. Ein im Multi-Filament FDM-Verfahren gefertigtes maßstabsgetreues Modell des Brustkorbes dient als reale Referenz. Die Daten wurden aus einem nativen CT-Thorax (1 mm Schichtdicke) extrahiert. Die Autosegmentierung erfolgte in 3DSlicer mittels MONAI Auto3DSeg: “Lungs” Modul. Die Aufarbeitung des Datensatzes erfolgte in Blender und folgend in PrusaSlicer für den Druck vorbereitet. Der 3D-Druck erfolgte mittels Prusa XL (Prusa Research a.s.).

Ergebnis Eine Registrierung mittels optisch generierter Punktwolken anhand der Oberflächenmorphologie war erfolgreich und wurde nach entsprechender Kalibrierung positionsgetreu in das Koordinatensystem des Mixed Reality HMD übertragen, sodass ein Hologramm der gescannten Morphologie auf das Modell projiziert wurde. Die Präzision der Überlagerung beträgt<1,5 mm. Das automatisierte Verfahren eliminiert nutzerabhängige Präzisionseinbußen. Limitierend können hierbei lagerungsbedingte Deformationsprozesse sein, die zu einer eingeschränkten Registrierungsqualität führen können. Zudem bedarf es zusätzlich zu dem HMD ein externes Tracking Gerät.

Schlussfolgerung Unsere Ergebnisse beweisen die Machbarkeit einer präzisen, automatisierten Projektion der Bildgebung auf den Situs und bilden die Grundlage und Ausgangsvalidierung, für die nächsten patientennahen Schritte, um Mixed Reality unterstützten Navigation im Operationssaal der Zukunft zu realisieren.

Publication History

Article published online:
13 August 2024