Medizin
How can we advance medical care?
The success of medical treatments depends on the individual expertise of the clinicians. With computer- and robotic-assistance in medical practices based on expert knowledge and human-machine-interaction CeTI tackles key challenges, limitations as well as ongoing work for next-generation surgery. The goal of U1 is to develop a context-aware, real-time medical assistant with Human-in-the-Loop. We aim for enhanced medical care and medical training environments by operating an international initiative with leading experts in the field.
Chirurgische Ausbildung
Um eine qualitativ hochwertige Patientenversorgung zu gewährleisten, ist es von entscheidender Bedeutung, medizinisches Personal effektiv und effizient zu schulen. Dies gilt insbesondere für anspruchsvolle chirurgische Techniken wie die laparoskopische oder robotergestützte Chirurgie oder für kritische Szenarien wie die Wiederbelebung von Patient:innen. Die laparoskopische Chirurgie ist ein chirurgisches Verfahren zur Untersuchung des Bauchraums, bei dem eine kleine Kamera mit einem dünnen Schlauch durch einen kleinen Einschnitt in der Bauchhaut eingeführt wird. Sie bietet viele Vorteile, ist aber aufgrund der umständlichen Verwendung von Instrumenten und des Verlusts der Tiefenwahrnehmung schwierig zu erlernen und durchzuführen. Aus diesem Grund untersuchen wir, wie die konventionelle medizinische Ausbildung mit Hilfe moderner Technologie verbessert werden kann. Insbesondere verwenden wir eine Vielzahl von Sensormodalitäten, um die Aktivitäten des auszubildenden Arztes oder Ärztin wahrzunehmen, und neuartige maschinelle Lernalgorithmen, um die gesammelten Sensordaten zu analysieren. Unser Schwerpunkt liegt auf der Entwicklung intelligenter Algorithmen, die dem angehenden medizinischen Personal automatisch konstruktives Feedback und eine objektive Bewertung seiner Fähigkeiten geben.
KI-unterstützte chirurgische Ausbildung
Das Training für die Schlüssellochchirurgie (minimalinvasive Chirurgie wie die Laparoskopie) ist komplex und der Lernerfolg ist noch nicht objektiv messbar. Zur Optimierung des chirurgischen Trainings wurde bereits ein Prototyp gebaut, der in kleinen Anwenderstudien vielversprechende Ergebnisse geliefert hat. Der Prototyp nutzt eine schnelle, auf maschinellem Lernen basierende Szenenanalyse, die den Lernfortschritt analysiert und mit Experten vergleicht. Dazu wurde ein großer Datensatz gesammelt, der dazu verwendet wurde, haptisches Feedback über das Instrument zu generieren, das auf Kräften und der Sichtbarkeit des Instruments basiert.
Robotergestützte Chirurgie
Im Mittelpunkt dieses Projekts steht die Echtzeitanwendung medizinischer Fähigkeiten für die Computer- und Roboterunterstützung. Ziel ist die Entwicklung von Echtzeitmethoden zur Analyse von Sensordaten im Operationssaal, um dem Operationsteam kontextbezogene Unterstützung zu bieten. Die robotergestützte Chirurgie bietet dem Chirurgen oder der Chirurgin viele Vorteile, wie z. B. Stereosicht, verbesserte Instrumentenkontrolle und bessere ergonomische Einstellungen. Die Forschung im Bereich der robotergestützten Chirurgie konzentriert sich auf: eine Testumgebung für die Fernunterstützung in der laparoskopischen Chirurgie; künftige Netzwerktechnologien zur Steuerung von Operationsrobotern über große Entfernungen und intermittierende Verbindungen; neuartige Methoden für die autonome Kameranavigation; Integration innovativer Geräte und Sensoren (Datenhandschuh, VR-Headsets, Kraftsensoren) in den chirurgischen Arbeitsablauf. Dies erfordert Echtzeitsteuerung und Kommunikationsnetze mit geringer Latenz, Online-Analyse und wissensbasierte Interpretation von Sensordaten mit Methoden des maschinellen Lernens.
EndoMersion
The demonstrator EndoMersion is an immersive robotic laparoscope guidance with 3D perception. The goal here is to provide computer-assisted camera guidance during keyhole surgery using patient and sensor data. The navigation is based on Augmented Reality and Artificial Intelligence. We acquire/ generate/ annotate large data sets of real surgical videos with the surgical department VTG which are processed by a neural net to create realistic simulated environments showing, for example, optimal cutting lines to protect nerves. The methods are being developed to bridge the gap between robotics, sensors, and data science in surgery.
CoBot
Das Assistenzsystem CoBot soll bei Tumoroperationen im Enddarm eingesetzt werden. Das Gerät entlastet den/die Chirurgen/Chirurgin vom direkten Halten und Bewegen von Instrumenten und übersetzt größere Handbewegungen, die der Operierende über zwei joystickähnliche Griffe ausführt, in winzige, zitterfreie Schnitte. Da Chirurg:innen auf visuelle Informationen angewiesen sind, werden zum richtigen Zeitpunkt Kamerabilder des Laparoskops mit zusätzlichen Informationen eingeblendet, etwa zur Lage wichtiger Nerven. Die Entscheidung trifft der Chirurg oder die Chirurgin jedoch zu jedem Zeitpunkt selbst. Das System unterstützt lediglich, ähnlich wie ein Navigationssystem im Auto.
Kooperative Forschungsprojekte
Für den Operationssaal von morgen werden verschiedene Technologien benötigt, die in unterschiedlichen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.
Navigation
Der Zweck der intraoperativen Navigation besteht darin, Informationen über verborgene Risiko- und Zielstrukturen auf der Grundlage der präoperativen Planungsdaten des Patienten bereitzustellen. Die Visualisierung kann über Augmented Reality (AR) erfolgen, indem die Informationen entweder direkt in die endoskopische Ansicht eingeblendet werden oder eine Brille verwendet wird. Bei der Weichgewebenavigation wird dieser Prozess durch die Verformung des Organs, die durch die auf die Organe einwirkenden Kräfte, das Schneiden des Gewebes, die verschiedenen Patientenhaltungen und die Atmung des Behandelten verursacht wird, erheblich erschwert. Die Schätzung der organinternen Deformation und der Bewegung von Risiko-/Zielstrukturen aus intraoperativen Sensordaten (z. B. chirurgischen Videoströmen) und präoperativen Daten in Echtzeit ist ein offenes Forschungsthema. Unser Team setzt für viele dieser Aufgaben neuartige Methoden des maschinellen Lernens ein.
Simulation
Im chirurgischen Bereich gilt die Beschaffung von Daten mit Grundwahrheit für Computer-Vision-Aufgaben fast immer als ein großer Engpass. Dies gilt insbesondere für Grundwahrheiten, die zusätzliche Sensoren (z. B. Tiefe, Kamerapositionen, 3D-Informationen) oder feinkörnige Annotationen (z. B. semantische Segmentierung) erfordern würden. Zu diesem Zweck sollen photorealistische Bild- und Videodaten aus einfachen chirurgischen Simulationen (z.B. laparoskopische 3D-Szenen) gerendert werden.
Es gibt so gut wie keine öffentlich zugänglichen Datensätze, die die Leber einer einzelnen Person in mehreren deformierten Zuständen zeigen. Um unsere maschinellen Lernalgorithmen für die Navigation voranzutreiben, entwickeln wir Simulationspipelines zur Erzeugung synthetischer Verformungen von realen und nicht-realen Organen. Wir bauen auf physikalischen biomechanischen Modellen auf, um eine riesige Menge an semi-realistischen Daten zu erzeugen, die dann zum Trainieren schneller und leistungsstarker neuronaler Netze verwendet werden.
