Die manuelle Segmentierung medizinischer Bilder ist nach wie vor eine Kernaufgabe in vielen klinischen Arbeitsabläufen, bleibt jedoch mühsam und kognitiv anspruchsvoll. Herkömmliche 2D-Schnittstellen lenken die Aufmerksamkeit oft ab und entsprechen nicht den Anforderungen an Präzision und Ergonomie, die für komplexe anatomische Annotationsaufgaben erforderlich sind.
In diesem Projekt haben wir eine immersive Segmentierungsplattform unter Verwendung des Meta Quest 3-Headsets und des Logitech MX Ink-Stifts entwickelt und evaluiert. Das System unterstützt die 2D-Annotation von CT-Scans in einem einheitlichen XR-Arbeitsbereich, der das Gefühl von Stift auf Papier widerspiegeln soll und gleichzeitig 3D-räumliche Interaktion und volumetrische Visualisierung bietet. Eine Anwenderstudie zeigte eine vielversprechende Benutzerfreundlichkeit (SUS-Wert von 66), wobei die Teilnehmer die intuitive Stiftsteuerung und die geringere kognitive Belastung während der Annotation lobten.
Mit Blick auf die Zukunft werden sich die weiteren Arbeiten auf die Verbesserung der Stiftpräzision, die Integration KI-gestützter Funktionen und die Unterstützung der kollaborativen Nutzung in der Operationsplanung und medizinischen Ausbildung konzentrieren. Diese Verbesserungen zielen darauf ab, die Lücke zwischen herkömmlichen Desktop-Tools und immersiven klinischen Schnittstellen zu schließen.
Veröffentlichungen
de Paiva, L.F., Luijten, G., Santos, A.S.F., Kim, M., Puladi, B., Kleesiek, J. and Egger, J., 2025. Beyond the Desktop: XR-Driven Segmentation with Meta Quest 3 and MX Ink. arXiv preprint arXiv:2506.04858.
Projektpartner
- Institut für Künstliche Intelligenz in der Medizin (IKIM)
• Prof. Jan Egger
• Prof. Jens Kleesiek
• Dr. Moon Kim
• Lisle Faray de Paiva
• Ana Sofia Ferreira Santos
• Gijs Luijten - Logitech International S.A.
• Dr. Aidan Kehoe - Institute of Medical Informatics
• Dr. Behrus Puladi
Kontakt
Lisle Faray de Paiva (lisle.faraydepaiva@uk-essen.de)
