Article
KI-Erkennung von OP-Instrumenten ohne Trainingsdaten
Search Medline for
Authors
-
Sebastian Andress
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Julia Högl
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Felix Merkl
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Cindy Walk
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Christoph Linhart
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Jonathan Bischoff
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Philipp Stefan
- Medability GmbH, München, Germany
-
Simon Weidert
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Boris Holzapfel
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
-
Wolfgang Böcker
- Klinik für Orthopädie und Unfallchirurgie, Muskuloskelettales Universitätszentrum München (MUM), LMU Klinikum, LMU München, München, Germany
| Published: | October 21, 2024 |
|---|
Outline
Text
Fragestellung: Objekterkennung mittels KI wird heutzutage in vielen Bereichen des Lebens verwendet. Die intraoperative Anwendung zur Erkennung von Instrumenten scheitert jedoch häufig an aus Datenschutz- oder Hygienerrichtlinien nicht vorhandenen oder nicht diversifizierten Trainingsdaten.
Diese Studie evaluiert eine frei verfügbare Methode, mit der Instrumente mittels herkömmlichen Kameras 3D eingescannt werden und hiermit ein künstlicher Trainingsdatensatz erstellt werden kann.
Methodik: Zum Scannen der Instrumente (Langenbeck, Hohmann Standard, Homann Spitz, Roux) werden diese in ein frei verfügbares Gestell (openscan.eu) eingespannt, welches diese kontrolliert in ihrer Orientierung zur Kamera (Nikon 800d) verändert. Es werden 172 Bilder angefertigt, welche mittels der Softwares „Meshroom“ und „Meshmixer“ zu 3D Modellen zusammengesetzt werden. Die Modelle werden mittels der Software „Blender“ auf zufällige Hintergrundbilder gerendert. 20.000 Bilder, alle mit je bis zu der 4 Instrumenten sowie zugehörige Annotationen zu deren Position, werden so erstellt. Die erstellten, künstlichen Bilder der Instrumente werden zum Training eines Objekterkennungsmodells verwendet („YOLOv5s“).
An 100 Test-Bildern, welche im Operationssaal mit der variierender Beleuchtung und Verdeckungen der Instrumente aufgenommen wurden, wird das trainierte Modell evaluiert. Die Average Precision (AP) bei einer Intersection over Union (IoU) von 50% wird je errechnet.
Ergebnisse und Schlussfolgerung: Die Evaluation der Methode zeigte folgende AP (IoU=50%) Ergebnisse: Langenbeck: 0,85%, Hohmann Standard: 0,73%, Hohmann Spitz: 0,81% Roux: 0,63%. Abbildung 1 zeigt beispielhaft die erkannten Instrumente.
Diese Vorgehensweise ermöglicht ein niederschwelliges Instrumenten-Tracking mit herkömmlichen Kameras, wie sie beispielsweise in Operationslampen verbaut sind. Durch die zunehmende Verbreitung von Tiefen-Sensoren in Mobiltelefonen wird es zudem immer einfacher, Instrumente 3D einzuscannen. Das Tracking von Instrumenten ermöglicht weitere Studien zu deren Nutzung als auch beispielsweise die Erkennung des Operationsablaufs.
