Das Internet hat den Zugang zu Informationen bereits weltweit demokratisiert und ermöglicht es jedem Menschen, sich nahezu jede Information zu beschaffen. Aber wie sieht es mit dem Erlernen von Fähigkeiten aus? Lehrvideos zu bestimmten Fertigkeiten können bis zu einem gewissen Grad helfen, aber ein/e Experte/in, der/die etwas persönlich vorzeigt und Feedback liefert, erzielt die besten Lernergebnisse. Was aber, wenn der/die Experte/in nicht einmal in der Nähe wohnt, um problemlos Unterricht zu nehmen? Oder gar auf einem anderen Kontinent? Hier versucht CeTI auf der Grundlage von Forschungsergebnissen eine Antwort zu geben, damit Fertigkeiten auch über extrem große Entfernungen erlernt werden können.
Wir plädieren für die Gründung des Zentrums für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) an der Technischen Universität Dresden (TUD), um signifikante Durchbrüche für die Verbesserung der Zusammenarbeit zwischen Menschen und Maschinen oder, allgemeiner, cyber-physischen Systemen (CPS) in realen, virtuellen und entfernten Umgebungen zu erzielen. Die Vision von CeTI ist es, Menschen die Interaktion mit kooperierenden CPS über intelligente Wide-Area-Kommunikationsnetzwerke zu ermöglichen, um den gerechten Zugang zu entfernten Arbeits- und Lernumgebungen für Menschen unterschiedlichen Geschlechts, Alters, kulturellen Hintergrunds oder mit körperlichen Einschränkungen zu fördern. Damit geht CeTI weit über den derzeitigen Stand der Technik hinaus und demokratisiert den Zugang zu Fähigkeiten und Fachwissen auf die gleiche Weise, wie das heutige Internet den Zugang zu Informationen demokratisiert hat.
Internet of Skills
Die Vision der Entwicklung des Internet of Skills ist es, Menschen auf der ganzen Welt den Zugang zu wissenschaftlich begründeten Trainingsmöglichkeiten mit Hilfe innovativer Internettechnologien zu bieten. Mit Blick auf diese Vision erforschen interdisziplinäre Teams des CeTI bestehend aus Ingenieur:innen, Informatiker:innen und Psycholog:innen, wie man die bei Bewegungen entstehenden Sinneseindrücke erfassen und für die Gestaltung von technisch vermittelten Feedbackstrategien nutzen kann
Musik
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
Dieses Szenario befasst sich mit dem Erlernen des Klavierspiels als Konzeptnachweis, wobei ein erfahrene/r Musiker/in andere über das Internet of Skills in Echtzeit aus der Ferne unterrichtet. Für dieses Ferntraining werden neuartige tragbare Aktuatoren in Form von intelligenten elektronischen Handschuhen mit haptischen Funktionen und geringer Latenzzeit verwendet. Der/die Klavierlehrer/in, der/die einen eGlove mit Selbsterkennungsfähigkeiten trägt oder ein digitales Klavier verwendet, würde jeden Finger des Schülers/der Schülerin in Echtzeit steuern, im Gegensatz zu einer verbalen Erklärung der einzelnen Schritte oder einer visuellen Demonstration der Bewegung. Der/die Schüler/in trägt einen elektronischen Handschuh mit einem integrierten haptischen Kraft-Feedback-System. Auf diese Weise kann er/sie die korrekten Fingerbewegungen erleben und im Anschluss das richtige Verhalten einfacher reproduzieren.
Demonstrator Sound and Science
Der Demonstrator zeigt, dass es möglich ist, die Bewegungen des Klavierspielers in Echtzeit auf einen digitalen Avatar zu übertragen. Die genaue Erfassung der Bewegungen des/der Experten/in ermöglicht die weiteren Schritte, in denen diese Bewegungen durch ein haptisches Kraft-Feedback-System auf den/die Lernende/n übertragen werden und so die Reproduktion erleichtern. Der Demonstrator wurde auf derVeranstaltung "Sound and Science” im Rahmen der Dresdner Musikfestspiele gezeigt. Dresden Music Festival.
Sport
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
In diesem Szenario wird ein dynamisches multimodales Set-up im Bereich des Sports, speziell des Surfens, gewählt. Aufgrund der dynamischen und komplexen relevanten Bewegungsabläufe, hauptsächlich das Balancieren auf dem Brett im Wasser, ist keine überwachte menschliche haptische Interaktion möglich. Daher müssen die Eingabedaten mit Methoden des maschinellen Lernens erfasst, verarbeitet und vor dem Lernvorgang gespeichert werden: Expert:innen oder Trainer:innen tragen ein eBodySuit-System, das mit taktilen und positionssensorischen Funktionen ausgestattet ist, um die komplexen Bewegungsvorgaben als Referenz zu generieren. Für den Lernvorgang trägt der menschliche Trainierende einen multimodalen eBodySuit (mit auditivem, visuellem und haptischem Feedback), der mit dem Internet of Skills verbunden ist und dem Lernenden die genauen dynamischen und komplexen Bewegungsabläufe beibringt.
Surfboard Demonstrator
Der Demonstrator erfasst die Bewegungen der Person auf dem Surfbrett und überträgt sie auf einen digitalen Avatar, der die Bewegungen quasi in Echtzeit kopiert. Auf dem Bildschirm erhalten die Surfer:innen durch grüne und rote Farbflächen sofortige Rückmeldung, ob sie sich in der richtigen Position auf dem Brett befinden. Das Surfbrett ist so gebaut, dass es bei der kleinsten Bewegung extrem wackelt, was dem echten Surferlebnis ähneln soll. Der Demonstrator wurde bei verschiedenen Gelegenheiten vorgeführt, z. B. auf der Juniordoktor Veranstaltung
Kooperative Forschungsprojekte
Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.
Das Lehren und Lernen von Fertigkeiten über große Entfernungen erfordert unterschiedliche Technologien, die in verschiedenen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.
Textile Sensoren und Aktuatoren
Die Textiltechnologie am CeTI befasst sich zum Beispiel mit der Funktionalität von Textilien und der Stricktechnologie. Sie bietet eine breite Palette von Möglichkeiten zur Verbesserung von Textilien für verschiedene Anwendungen, die ständig erweitert wird. Die Forschung konzentriert sich auch auf textilbasierte Sensoren und Aktuatoren und deren leitfähiges Verhalten. Diese Sensoren und Aktuatoren bringen viele vorteilhafte Eigenschaften für Wearables mit sich. Wearables, intelligente Textilien und Geräte sind die Hardwarebasis für Softwareentwicklung und psychologische Untersuchungen. Der CeTI-Handschuh und das Smart Kinesiotape sind das Ergebnis von Forschungen, bei denen textil-physikalische und elektromechanische Untersuchungen zusammenkommen.
Erfassen von Bewegungen
Für eine exakte Erfassung menschlicher Bewegungen sind die Präzision und die Latenzzeit aktueller 3D-Erfassungs- und Verfolgungsansätze noch nicht ausreichend. Immersive Modellierung ist ein vielversprechender Weg, um 3D-Objekte in VR/AR zu kennzeichnen, zu segmentieren und semantische Eigenschaften zu gewinnen. Das Ziel ist es, eine Brücke zwischen der physischen und der virtuellen Welt zu schlagen. Außerdem wird eine AR/ VR-Umgebung für die Gestaltung und Umsetzung natürlicher Interaktionen in VR zwischen Menschen und Maschinen bereitgestellt. Dazu gehört auch ein tiefes Verständnis dafür, wie Menschen Personen anhand ihrer Körperbewegungen wahrnehmen/erkennen. Darüber hinaus wird untersucht, ob Menschen und Maschinen menschliche Bewegungen auf die gleiche Weise erkennen. Dazu werden Bewegungsdaten über IMU-Bewegungserfassungsanzüge und AR/VR-Headsets gesammelt, welche anonymisiert werden. Wenn Kenntnisse über die Datenschutzrisiken der Datenerfassung bestehen, kann eine datenschutzfreundliche Posenschätzung erstellt werden.
Taktiles Feedback
Feedback von einer externen Quelle (Augmented Feedback) ist ein wirksames Instrument zur Förderung des Erlernens motorischer Fähigkeiten. Das Feedback kann den Lernenden zu effizienten und aufgabenrelevanten Bewegungsmustern/Lösungen führen. Ein Beispiel ist das Heben einer schweren Kiste, bei dem eine gesunde Ausführung mit geradem Rücken und gebeugten Beinen wichtig ist. In diesem Fall kann passives taktiles und auditives Feedback die Beugung der Wirbelsäule verringern, wenn die Bewegung nicht korrekt ausgeführt wird. Ein vorausschauendes Feedback zu Bewegungsabläufen ist dem Feedback zum Bewegungsergebnis überlegen.
Raumleiter:innen
