Internet der Kompetenzen
How can we advance training technologies?
Das Internet hat den Zugang zu Informationen bereits weltweit demokratisiert und ermöglicht es jedem Menschen, sich nahezu jede Information zu beschaffen. Aber wie sieht es mit dem Erlernen von Fähigkeiten aus? Lehrvideos zu bestimmten Fertigkeiten können bis zu einem gewissen Grad helfen, aber ein/e Experte/in, der/die etwas persönlich vorzeigt und Feedback liefert, erzielt die besten Lernergebnisse. Was aber, wenn der/die Experte/in nicht einmal in der Nähe wohnt, um problemlos Unterricht zu nehmen? Oder gar auf einem anderen Kontinent? Hier versucht CeTI auf der Grundlage von Forschungsergebnissen eine Antwort zu geben, damit Fertigkeiten auch über extrem große Entfernungen erlernt werden können.
Musik
Dieses Szenario befasst sich mit dem Erlernen des Klavierspiels als Konzeptnachweis, wobei ein erfahrene/r Musiker/in andere über das Internet of Skills in Echtzeit aus der Ferne unterrichtet. Für dieses Ferntraining werden neuartige tragbare Aktuatoren in Form von intelligenten elektronischen Handschuhen mit haptischen Funktionen und geringer Latenzzeit verwendet. Der/die Klavierlehrer/in, der/die einen eGlove mit Selbsterkennungsfähigkeiten trägt oder ein digitales Klavier verwendet, würde jeden Finger des Schülers/der Schülerin in Echtzeit steuern, im Gegensatz zu einer verbalen Erklärung der einzelnen Schritte oder einer visuellen Demonstration der Bewegung. Der/die Schüler/in trägt einen elektronischen Handschuh mit einem integrierten haptischen Kraft-Feedback-System. Auf diese Weise kann er/sie die korrekten Fingerbewegungen erleben und im Anschluss das richtige Verhalten einfacher reproduzieren.
Demonstrator Sound and Science
Der Demonstrator zeigt, dass es möglich ist, die Bewegungen des Klavierspielers in Echtzeit auf einen digitalen Avatar zu übertragen. Die genaue Erfassung der Bewegungen des/der Experten/in ermöglicht die weiteren Schritte, in denen diese Bewegungen durch ein haptisches Kraft-Feedback-System auf den/die Lernende/n übertragen werden und so die Reproduktion erleichtern. Der Demonstrator wurde auf der Veranstaltung "Sound and Science" im Rahmen der Dresdner Musikfestspiele präsentiert.
Sport
In diesem Szenario wird ein dynamisches multimodales Set-up im Bereich des Sports, speziell des Surfens, gewählt. Aufgrund der dynamischen und komplexen relevanten Bewegungsabläufe, hauptsächlich das Balancieren auf dem Brett im Wasser, ist keine überwachte menschliche haptische Interaktion möglich. Daher müssen die Eingabedaten mit Methoden des maschinellen Lernens erfasst, verarbeitet und vor dem Lernvorgang gespeichert werden: Expert:innen oder Trainer:innen tragen ein eBodySuit-System, das mit taktilen und positionssensorischen Funktionen ausgestattet ist, um die komplexen Bewegungsvorgaben als Referenz zu generieren. Für den Lernvorgang trägt der menschliche Trainierende einen multimodalen eBodySuit (mit auditivem, visuellem und haptischem Feedback), der mit dem Internet of Skills verbunden ist und dem Lernenden die genauen dynamischen und komplexen Bewegungsabläufe beibringt.
Surfboard Demonstrator
Der Demonstrator erfasst die Bewegungen der Person auf dem Surfbrett und überträgt sie auf einen digitalen Avatar, der die Bewegungen quasi in Echtzeit kopiert. Auf dem Bildschirm erhalten die Surfer:innen durch grüne und rote Farbflächen sofortige Rückmeldung, ob sie sich in der richtigen Position auf dem Brett befinden. Das Surfbrett ist so gebaut, dass es bei der kleinsten Bewegung extrem wackelt, was dem echten Surferlebnis ähneln soll. Der Demonstrator wurde bei verschiedenen Gelegenheiten vorgeführt, z. B. auf der
Kooperative Forschungsprojekte
Das Lehren und Lernen von Fertigkeiten über große Entfernungen erfordert unterschiedliche Technologien, die in verschiedenen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.
Textile Sensoren und Aktuatoren
Die Textiltechnologie am CeTI befasst sich zum Beispiel mit der Funktionalität von Textilien und der Stricktechnologie. Sie bietet eine breite Palette von Möglichkeiten zur Verbesserung von Textilien für verschiedene Anwendungen, die ständig erweitert wird. Die Forschung konzentriert sich auch auf textilbasierte Sensoren und Aktuatoren und deren leitfähiges Verhalten. Diese Sensoren und Aktuatoren bringen viele vorteilhafte Eigenschaften für Wearables mit sich. Wearables, intelligente Textilien und Geräte sind die Hardwarebasis für Softwareentwicklung und psychologische Untersuchungen. Der CeTI-Handschuh und das Smart Kinesiotape sind das Ergebnis von Forschungen, bei denen textil-physikalische und elektromechanische Untersuchungen zusammenkommen.
Erfassen von Bewegungen
Für eine exakte Erfassung menschlicher Bewegungen sind die Präzision und die Latenzzeit aktueller 3D-Erfassungs- und Verfolgungsansätze noch nicht ausreichend. Immersive Modellierung ist ein vielversprechender Weg, um 3D-Objekte in VR/AR zu kennzeichnen, zu segmentieren und semantische Eigenschaften zu gewinnen. Das Ziel ist es, eine Brücke zwischen der physischen und der virtuellen Welt zu schlagen. Außerdem wird eine AR/ VR-Umgebung für die Gestaltung und Umsetzung natürlicher Interaktionen in VR zwischen Menschen und Maschinen bereitgestellt. Dazu gehört auch ein tiefes Verständnis dafür, wie Menschen Personen anhand ihrer Körperbewegungen wahrnehmen/erkennen. Darüber hinaus wird untersucht, ob Menschen und Maschinen menschliche Bewegungen auf die gleiche Weise erkennen. Dazu werden Bewegungsdaten über IMU-Bewegungserfassungsanzüge und AR/VR-Headsets gesammelt, welche anonymisiert werden. Wenn Kenntnisse über die Datenschutzrisiken der Datenerfassung bestehen, kann eine datenschutzfreundliche Posenschätzung erstellt werden.
Taktiles Feedback
Feedback von einer externen Quelle (Augmented Feedback) ist ein wirksames Instrument zur Förderung des Erlernens motorischer Fähigkeiten. Das Feedback kann den Lernenden zu effizienten und aufgabenrelevanten Bewegungsmustern/Lösungen führen. Ein Beispiel ist das Heben einer schweren Kiste, bei dem eine gesunde Ausführung mit geradem Rücken und gebeugten Beinen wichtig ist. In diesem Fall kann passives taktiles und auditives Feedback die Beugung der Wirbelsäule verringern, wenn die Bewegung nicht korrekt ausgeführt wird. Ein vorausschauendes Feedback zu Bewegungsabläufen ist dem Feedback zum Bewegungsergebnis überlegen.
