Vor der Einführung des Deep Learnings wurde zur Beschreibung von Objekten in der Regel die „Form“ verwendet. Heutzutage weichen die modernen (SOTA-) Algorithmen in der medizinischen Bildgebung überwiegend von der Computer Vision ab, bei der Voxel-Gitter, Netze, Punktwolken und implizite Oberflächenmodelle verwendet werden. Dies zeigt sich an zahlreichen formbezogenen Veröffentlichungen auf führenden Bildverarbeitungskonferenzen sowie an der wachsenden Popularität von ShapeNet (etwa 51.300 Modelle) und Princeton ModelNet (127.915 Modelle). Für den medizinischen Bereich präsentieren wir eine große Sammlung anatomischer Formen (z.B. Knochen, Organe, Gefäße) und 3D-Modelle chirurgischer Instrumente, genannt MedShapeNet, die die Übertragung datengesteuerter Bildverarbeitungsalgorithmen auf medizinische Anwendungen und die Anpassung von SOTA-Bildverarbeitungsalgorithmen an medizinische Probleme erleichtern soll. Einzigartig ist, dass wir die meisten Formen direkt aus den Bilddaten echter Patienten modellieren. Bis heute umfasst MedShapeNet 23 Datensätze mit mehr als 100.000 Formen, die mit Anmerkungen (Ground Truth) gepaart sind. Unsere Daten sind über ein Webinterface und eine Python-Programmierschnittstelle (API) frei zugänglich und können für diskriminative, rekonstruktive und variierende Benchmarks sowie für verschiedene Anwendungen in der virtuellen, erweiterten oder gemischten Realität und im 3D-Druck verwendet werden. Exemplarisch stellen wir Anwendungsfälle in den Bereichen Klassifizierung von Hirntumoren, Schädelrekonstruktionen, Vervollständigung der Anatomie in mehreren Klassen, Bildung und 3D-Druck vor. In Zukunft werden die Daten erweitert und die Schnittstellen verbessert.
Die medizinischen Formen sind frei zugänglich über: https://medshapenet.ikim.nrw/
Publikation
Li, J., Pepe, A., Gsaxner, C. et al. MedShapeNet — a Large-Scale dataset of 3D medical shapes for computer vision. arXiv (Cornell University) (2023). https://doi.org/10.48550/arXiv.2308.16139
Kooperationspartner
Gijs Luijten
Christina Gsaxner
Antonio Pepe
Behrus Puladi
Oliver Basu
Peter Hoyer
Jens Kleesiek
Jan Egger
Kontakt
Jianning Li (Jianning.Li@uk-essen.de)
