Endoguide: Endoskop mit 360°-Ansicht

Zusammenfassung

In den vergangenen Jahrzehnten gewann die minimalinvasive Chirurgie immer stärker an Bedeutung, und dennoch müssen Chirurgen nach wie vor mit eingeschränkter Orientierung und schwieriger Navigation kämpfen. Das 2D-Kamerabild des Endoskops liefert das einzige visuelle Feedback. Hierdurch ist das Kamerablickfeld begrenzt, die Blickstandpunkte von Arzt und Endoskop sind entkoppelt, und darüber hinaus kann der Chirurg das von einem Assistenten gehaltene Endoskop nicht selbst kontrollieren.

Das vom BMBF geförderte Projekt „Endoguide“ hat die Entwicklung eines neuartigen, computergestützten Endoskopiesystems für laparoskopische Eingriffe zum Ziel. Das Endoguide-System besteht aus einem neuen Endoskop mit beweglicher Kamera sowie einer Computereinheit für VR / AR-Unterstützung und intuitive Benutzerschnittstellen. Das Endoskop wird hierbei nicht mehr von einem Assistenten gehalten, sondern ist in einen Haltearm eingespannt, wobei Elektromotoren die volle Kontrolle von Blickrichtung, Fokus und Zoom sicherstellen.

Die Computereinheit ermöglicht eine Vielzahl neuer Features. Das gesamte System, inklusive des Endoskops, kann über mehrere berührungslose Schnittstellen kontrolliert werden, wie z. B. Spracheingabe, Kopf- oder Blicksteuerung. Darüber hinaus sind durch GPU-basierte Echtzeit-Videoverarbeitung und optisches Tracking automatische Features realisiert, u. a. ein FFT-basierter Autofokus, bildbasierte Instrumentenverfolgung oder adaptive Region-of-Interest-Auswahl und Kameranachführung. Insbesondere Letzteres erlaubt es dem Chirurgen, sich voll auf seine Arbeit zu konzentrieren, da das System automatisch die korrekte Ansicht ermittelt.

Um das eingeschränkte Sichtfeld des Endoskops zu überwinden, kann das System automatisch 360°-Übersichtspanoramen erzeugen. Diese können entweder auf einem Monitor oder in immersiven Umgebungen, wie z. B. kleinen Kuppelprojektionen, betrachtet werden. Im Panoramabild wird die aktuelle Endoskopsicht an der korrekten Stelle angezeigt. Daten und Annotationen aus der OP-Planung (z. B. von CT / MRT) können überlagert werden und so wertvolle Informationen während des Eingriffs liefern. Darüber hinaus macht es das Kopftracking möglich, die Blickrichtung des Chirurgen mit der Kameraorientierung zu koppeln und hierdurch wieder ein direktes visuelles Feedback zu geben.

Abstract

Over the last decades, minimally invasive surgery (MIS) has become more and more important, although surgeons still have to deal with limited orientation and difficult navigation. The 2 D camera image of the endoscope provides the only visual feedback. However, the field of view is narrow and the surgeon cannot control the viewing direction himself because the endoscope is usually held by an assistant.

The “Endoguide” project, founded by the German Federal Ministry of Education and Research, aims to develop a novel computer-assisted surgery (CAS) system for laparoscopic interventions, consisting of two major parts: a new type of endoscope with variable viewing direction and a processing unit for offering VR / AR support and intuitive user input paradigms. Instead of being held by an assistant, the new endoscope will be mounted and equipped with electric motors for controlling the viewing direction, focus and zoom of the camera.

The CAS unit enables a multitude of advanced features. The entire system including the endoscope can be controlled through several touchless interfaces, such as speech recognition, head or gaze tracking. Moreover, real-time GPU-based video processing and optical tracking facilitate several automatic features that range from a FFT-based auto focus to image-based instrument tracking and adaptive region-of-interest selection. In particular the latter allows the surgeon to concentrate on his tasks by automatically providing the correct view.

In order to overcome the endoscope’s limited field of view, the system automatically captures and stitches 360° panoramic overview scans, which can be viewed on a regular screen or in immersive environments like small dome projections. The current live-view from the endoscope is displayed as an inset at the correct position within the generated panoramic still image. Data and annotations from pre-surgical planning (e. g. from CT / MRI) can be overlaid and provide valuable information during the intervention. Tracking the head of the surgeon allows to directly couple the viewing direction inside the dome with the orientation of the endoscope and, hence, to provide a direct visual feedback.

Schlüsselwörter

computergestütztes Endoskopiesystem - Augmented Reality - 360°-Panoramaansicht - automatische Instrumentenverfolgung

Key words

computer assisted endoscopic system - augmented reality - 360° panoramic view - automatic instrument tracking

• Literatur

• 1 Lee S, Kim GJ, Choi S. Real-Time Depth-of-Field Rendering Using Anisotropically Filtered Mipmap Interpolation. IEEE Transactions on Visualization and Computer Graphics 2009; 15: 453-464
• 2 Dingeldey F, Isakovic K, Teiche I. Using PHYSX for Simulation-Based Endoscopic Hardware Design. In: Proceeding of GRAPP. 2010: 358-363
• 3 Tonet O, Thoranaghatte RU, Megali G et al. Tracking endoscopic instruments without a localizer: A shape-analysis-based approach. Computer Aided Surgery 2007; 12: 35-42
• 4 Soler L, Nicolau S, Hostettler A et al. Virtual Reality and Augmented Reality applied to Endoscopic and NOTES Procedures. World Congress on Medical Physics and Biomedical Engineering 2009; 25: 362-365
• 5 Brown M, Lowe DG. Automatic Panoramic Image Stitching using Invariant Features. International Journal of Computer Vision 2007; 74: 59-73
• 6 Schiewe M, Dingeldey F, Gerhardt J et al. Interactive Immersive 3D Stereoscopic Dome with Automatic Calibration. 2010 In: Proceeding of the Eurographics 2010 conference – Areas paper.