Der Erfolg medizinischer Behandlungen hängt von der individuellen Kompetenz der Ärzt:innen ab. Mit Computer- und Roboterunterstützung in der medizinischen Praxis auf der Grundlage von Expertenwissen und Mensch-Maschine-Interaktion befasst sich CeTI mit den wichtigsten Herausforderungen, Einschränkungen und laufenden Arbeiten für die Chirurgie der nächsten Generation. Das Ziel von U1 ist die Entwicklung eines kontextbewussten, medizinischen Assistenten in Echtzeit mit Human-in-the-Loop. Unser Ziel ist es, die medizinische Versorgung und die medizinische Ausbildung zu verbessern, indem wir eine internationale Zusammenarbeit mit führenden Expert:innen auf diesem Gebiet pflegen.
Wir plädieren für die Gründung des Zentrums für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) an der Technischen Universität Dresden (TUD), um signifikante Durchbrüche für die Verbesserung der Zusammenarbeit zwischen Menschen und Maschinen oder, allgemeiner, cyber-physischen Systemen (CPS) in realen, virtuellen und entfernten Umgebungen zu erzielen. Die Vision von CeTI ist es, Menschen die Interaktion mit kooperierenden CPS über intelligente Wide-Area-Kommunikationsnetzwerke zu ermöglichen, um den gerechten Zugang zu entfernten Arbeits- und Lernumgebungen für Menschen unterschiedlichen Geschlechts, Alters, kulturellen Hintergrunds oder mit körperlichen Einschränkungen zu fördern. Damit geht CeTI weit über den derzeitigen Stand der Technik hinaus und demokratisiert den Zugang zu Fähigkeiten und Fachwissen auf die gleiche Weise, wie das heutige Internet den Zugang zu Informationen demokratisiert hat.
Medizin
Im medizinischen Kontext werden am CeTI zwei Ansätze verfolgt: Zum einen geht es um die sensorbasierte Erfassung von klinischem Fachwissen, um chirurgische Fertigkeiten zu speichern und in der medizinischen Ausbildung mit neuen Trainingstechnologien weiterzugeben. Der zweite ist die Entwicklung von medizinischen Assistenzsystemen, um die klinische Leistungsfähigkeit und damit die Qualität der Patient:innenversorgung zu verbessern.
Chirurgische Ausbildung
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
Um eine qualitativ hochwertige Patientenversorgung zu gewährleisten, ist es von entscheidender Bedeutung, medizinisches Personal effektiv und effizient zu schulen. Dies gilt insbesondere für anspruchsvolle chirurgische Techniken wie die laparoskopische oder robotergestützte Chirurgie oder für kritische Szenarien wie die Wiederbelebung von Patient:innen. Die laparoskopische Chirurgie ist ein chirurgisches Verfahren zur Untersuchung des Bauchraums, bei dem eine kleine Kamera mit einem dünnen Schlauch durch einen kleinen Einschnitt in der Bauchhaut eingeführt wird. Sie bietet viele Vorteile, ist aber aufgrund der umständlichen Verwendung von Instrumenten und des Verlusts der Tiefenwahrnehmung schwierig zu erlernen und durchzuführen. Aus diesem Grund untersuchen wir, wie die konventionelle medizinische Ausbildung mit Hilfe moderner Technologie verbessert werden kann. Insbesondere verwenden wir eine Vielzahl von Sensormodalitäten, um die Aktivitäten des auszubildenden Arztes oder Ärztin wahrzunehmen, und neuartige maschinelle Lernalgorithmen, um die gesammelten Sensordaten zu analysieren. Unser Schwerpunkt liegt auf der Entwicklung intelligenter Algorithmen, die dem angehenden medizinischen Personal automatisch konstruktives Feedback und eine objektive Bewertung seiner Fähigkeiten geben.
KI-unterstützte chirurgische Ausbildung
Training for keyhole surgery (minimal invasive surgery like laparoscopy) is complex and the learning success is not yet objectively measured. One prototype has already been built for the purpose of optimizing surgical traning which has delivered promising results in small user studies. The prototype uses fast machine-learning-based scene analysis which analyzes learning progress and compares with experts. Therefore a large dataset was collected that was used to generate haptic feedback via the instrument based on forces and instrument visibilty.
Robotergestützte Chirurgie
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
Im Mittelpunkt dieses Projekts steht die Echtzeitanwendung medizinischer Fähigkeiten für die Computer- und Roboterunterstützung. Ziel ist die Entwicklung von Echtzeitmethoden zur Analyse von Sensordaten im Operationssaal, um dem Operationsteam kontextbezogene Unterstützung zu bieten. Die robotergestützte Chirurgie bietet dem Chirurgen oder der Chirurgin viele Vorteile, wie z. B. Stereosicht, verbesserte Instrumentenkontrolle und bessere ergonomische Einstellungen. Die Forschung im Bereich der robotergestützten Chirurgie konzentriert sich auf: eine Testumgebung für die Fernunterstützung in der laparoskopischen Chirurgie; künftige Netzwerktechnologien zur Steuerung von Operationsrobotern über große Entfernungen und intermittierende Verbindungen; neuartige Methoden für die autonome Kameranavigation; Integration innovativer Geräte und Sensoren (Datenhandschuh, VR-Headsets, Kraftsensoren) in den chirurgischen Arbeitsablauf. Dies erfordert Echtzeitsteuerung und Kommunikationsnetze mit geringer Latenz, Online-Analyse und wissensbasierte Interpretation von Sensordaten mit Methoden des maschinellen Lernens.
EndoMersion
The demonstrator EndoMersion is an immersive robotic laparoscope guidance with 3D perception. The goal here is to provide computer-assisted camera guidance during keyhole surgery using patient and sensor data. The navigation is based on Augmented Reality and Artificial Intelligence. We acquire/ generate/ annotate large data sets of real surgical videos with the surgical department VTG which are processed by a neural net to create realistic simulated environments showing, for example, optimal cutting lines to protect nerves. The methods are being developed to bridge the gap between robotics, sensors, and data science in surgery.
CoBot
Das Assistenzsystem CoBot soll bei Tumoroperationen im Enddarm eingesetzt werden. Das Gerät entlastet den/die Chirurgen/Chirurgin vom direkten Halten und Bewegen von Instrumenten und übersetzt größere Handbewegungen, die der Operierende über zwei joystickähnliche Griffe ausführt, in winzige, zitterfreie Schnitte. Da Chirurg:innen auf visuelle Informationen angewiesen sind, werden zum richtigen Zeitpunkt Kamerabilder des Laparoskops mit zusätzlichen Informationen eingeblendet, etwa zur Lage wichtiger Nerven. Die Entscheidung trifft der Chirurg oder die Chirurgin jedoch zu jedem Zeitpunkt selbst. Das System unterstützt lediglich, ähnlich wie ein Navigationssystem im Auto.
Kooperative Forschungsprojekte
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
Für den Operationssaal von morgen werden verschiedene Technologien benötigt, die in unterschiedlichen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.
Navigation
Der Zweck der intraoperativen Navigation besteht darin, Informationen über verborgene Risiko- und Zielstrukturen auf der Grundlage der präoperativen Planungsdaten des Patienten bereitzustellen. Die Visualisierung kann über Augmented Reality (AR) erfolgen, indem die Informationen entweder direkt in die endoskopische Ansicht eingeblendet werden oder eine Brille verwendet wird. Bei der Weichgewebenavigation wird dieser Prozess durch die Verformung des Organs, die durch die auf die Organe einwirkenden Kräfte, das Schneiden des Gewebes, die verschiedenen Patientenhaltungen und die Atmung des Behandelten verursacht wird, erheblich erschwert. Die Schätzung der organinternen Deformation und der Bewegung von Risiko-/Zielstrukturen aus intraoperativen Sensordaten (z. B. chirurgischen Videoströmen) und präoperativen Daten in Echtzeit ist ein offenes Forschungsthema. Unser Team setzt für viele dieser Aufgaben neuartige Methoden des maschinellen Lernens ein.
Simulation
Im chirurgischen Bereich gilt die Beschaffung von Daten mit Grundwahrheit für Computer-Vision-Aufgaben fast immer als ein großer Engpass. Dies gilt insbesondere für Grundwahrheiten, die zusätzliche Sensoren (z. B. Tiefe, Kamerapositionen, 3D-Informationen) oder feinkörnige Annotationen (z. B. semantische Segmentierung) erfordern würden. Zu diesem Zweck sollen photorealistische Bild- und Videodaten aus einfachen chirurgischen Simulationen (z.B. laparoskopische 3D-Szenen) gerendert werden.
Es gibt so gut wie keine öffentlich zugänglichen Datensätze, die die Leber einer einzelnen Person in mehreren deformierten Zuständen zeigen. Um unsere maschinellen Lernalgorithmen für die Navigation voranzutreiben, entwickeln wir Simulationspipelines zur Erzeugung synthetischer Verformungen von realen und nicht-realen Organen. Wir bauen auf physikalischen biomechanischen Modellen auf, um eine riesige Menge an semi-realistischen Daten zu erzeugen, die dann zum Trainieren schneller und leistungsstarker neuronaler Netze verwendet werden.
The videos are exhibits shown in the special exhibition “ARTIFICIAL INTELLIGENCE: Machines – Learning – Human Dreams” of the Deutschen Hygiene-Museum Dresden.
Raumleiter:innen
