In der heutigen Zeit werden die Anforderungen an Produktionsprozesse immer komplexer. Um diesen gerecht zu werden, werden zunehmend Roboter eingesetzt, die industrielle Produktionsschritte unzählige Male ohne Fehler wiederholen. Der Anwendungsfall U2 befasst sich mit der Interaktion von Mensch und Maschine im industriellen Kontext. Der Fokus liegt darauf zu zeigen, wie eine Maschine direkt vom Menschen lernen kann und das gelernte Verhalten an weitere Maschinen weitergibt, auch wenn diese in unterschiedlichen Kontexten stehen. Dabei soll das direkte Lernen vom Menschen die zeit- und kostenintensive Programmierung von Maschinen nach dem Stand der Technik ersetzen.

Wir plädieren für die Gründung des Zentrums für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) an der Technischen Universität Dresden (TUD), um signifikante Durchbrüche für die Verbesserung der Zusammenarbeit zwischen Menschen und Maschinen oder, allgemeiner, cyber-physischen Systemen (CPS) in realen, virtuellen und entfernten Umgebungen zu erzielen. Die Vision von CeTI ist es, Menschen die Interaktion mit kooperierenden CPS über intelligente Wide-Area-Kommunikationsnetzwerke zu ermöglichen, um den gerechten Zugang zu entfernten Arbeits- und Lernumgebungen für Menschen unterschiedlichen Geschlechts, Alters, kulturellen Hintergrunds oder mit körperlichen Einschränkungen zu fördern. Damit geht CeTI weit über den derzeitigen Stand der Technik hinaus und demokratisiert den Zugang zu Fähigkeiten und Fachwissen auf die gleiche Weise, wie das heutige Internet den Zugang zu Informationen demokratisiert hat.

Lila und magentafarbene grafische Illustration, die einen Mann neben einem Tisch mit zwei Roboterarmen darstellt

Industrie

Das Aufkommen von sicheren und kollaborativen Robotern verändert derzeit die Art und Weise, wie unsere Arbeitsplätze gestaltet und strukturiert sind. Moderne Robotersysteme sind in der Lage, komplexe Handhabungsaufgaben auszuführen und intuitiv mit dem Menschen zu interagieren, was sie zu potenziellen Mitarbeitern (Cobots) in vielen Produktionsszenarien macht (Mensch-Roboter-Kooperation in der Industrie). Dieser neue Trend zu kollaborativen industriellen Arbeitsräumen (Cobot-Zellen) ist durch verschiedene Faktoren motiviert, wie z. B. die zunehmende allgemeine Langlebigkeit und Präzision von Robotern, das Kostensenkungspotenzial für Montage und Produktion und die Entdeckung neuer Anwendungsbereiche, wie z. B. die Fernarbeit in gefährlichen Bereichen.

Mensch-zu-Maschine: Vom Experten lernen

Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.

Obwohl bereits viel über die Gestaltung von kollaborativen Arbeitszellen und Robotern geforscht wurde, gibt es noch große Herausforderungen zu bewältigen. Eine dieser Herausforderungen besteht darin, den Robotern alle erforderlichen Fähigkeiten zu vermitteln, damit sie an einem bestimmten Arbeitsplatz nützlich sind (Erlernen von Fähigkeiten). Die Art und Weise, wie moderne Roboter programmiert werden, unterscheidet sich stark von den mühsamen und zeitaufwändigen Prozessen früherer Systeme. So wird zum Beispiel das kinästhetische Lernen immer häufiger zur Programmierung kollaborativer Roboter eingesetzt, was eine viel intuitivere und effizientere Programmierung durch direkte Anleitung der Roboter ermöglicht. Der Roboter kann dann auf der gezeigten Aufgabe aufbauen und sie mit Hilfe geeigneter Lernmethoden selbstständig optimieren. Beispiele für solche Aufgaben sind Schrauben/Bohren, Stanzen, Schleifen, Hämmern oder Schweißen. Je nach Anwendungsszenario können die Aufgaben vielfältig variiert werden, z. B. in der Elektronikmontage oder in der Automobilindustrie.

Demonstrator Cocktail Robot

Der Roboter hilft bei der Herstellung von Cocktails und wird durch Gesten und Berührungen gesteuert. Ein digitaler Handschuh mit mehreren Positionssensoren und die Drehmomentsensoren in den Gelenken des Roboters werden verwendet, um intuitive Steuerungsmethoden eines Menschen, wie Gesten und Berührungen, zu interpretieren. Der Demonstrator zeigt, dass es möglich ist, Geräte zuverlässig über Handgesten zu steuern. Diese Technologie ermöglicht eine leichtere Übernahme neuer Technologien, die im industriellen Kontext wichtig wären.

For privacy reasons YouTube needs your permission to be loaded. For more details, please see our Imprint.
I Accept
For privacy reasons YouTube needs your permission to be loaded. For more details, please see our Imprint.
I Accept

Aufräum-Demonstrator

Der Immersive Sorting Demonstrator zeigt die Fähigkeiten unseres Cobotic Frameworks. Die Roboter nehmen Bausteine auf und legen sie in Behälter, während der/die Benutzer/in ein VR-Headset trägt. Mit diesem Headset kann der-/diejenige mehrere Roboter steuern, die in verschiedenen Umgebungen und Einstellungen arbeiten. Die Fernsteuerung des Roboters ermöglicht eine höhere Produktivität, die in der modernen industriellen Produktion eine wesentliche Kennzahl ist.

Schere Stein Papier Demonstrator

Der Schere-Stein-Papier-Demonstrator ermöglicht dem/der User/in eine natürliche Interaktion mit einem Roboter. Die Benutzer:innen tragen den CeTI-Handschuh, der Fingerbewegungen erfasst, Gesten (Stein, Papier, Schere) erkennt und diese Gesten schließlich an die Roboterhand weiterleitet. Die spielerische Herangehensweise an das Spiel Schere, Stein, Papier dient als niedrigschwelliger Einstieg für Besucher öffentlicher Veranstaltungen. Das Spiel wurde absichtlich so gestaltet, dass niemand gewinnen oder verlieren kann. Die Besucher:innen sollten die Erfahrung machen, die Bewegungen des Roboters zu kontrollieren, und den Roboter nicht als Gegner, sondern als freundlichen Spielkameraden wahrnehmen.

For privacy reasons YouTube needs your permission to be loaded. For more details, please see our Imprint.
I Accept
  • Foto eines Kindes neben einem Roboterarm, das einen intelligenten Stift benutzt. Neben dem Kind steht ein Forscher, der die Funktionsweise des Roboters erklärt.
  • Foto von zwei Männern neben einem Roboterarm, einer von ihnen hält einen intelligenten Stift
  • Foto eines Jungen, der einen intelligenten Stift hält, und zwei Mädchen, die ihm dabei zusehen

TracePen Demonstrator

Bei der Demonstration TracePen handelt es sich um einen Roboter, der die Bewegungen von Menschen nachahmen kann. Dazu nutzt der Roboter die Software des Start-ups wandelbotsBei der Demonstration TracePen handelt es sich um einen Roboter, der die Bewegungen von Menschen nachahmen kann. Dazu nutzt der Roboter die Software des Start-ups wandelbots, die es dem Roboterarm ermöglicht, vom Menschen gelernte Bewegungen mit Hilfe des TracePen zu wiederholen. Der/die Benutzer/in kann dem Roboter mit Hilfe des TracePen einfache Zeichnungen zeigen - der Roboter führt dann die gleiche Zeichenbewegung mit einem echten Stift aus. Dies zeigt, dass die Roboterprogrammierung mit Hilfe der Demonstration stark vereinfacht wird, was in der Fertigungsindustrie sehr gut ankommt.

  • Eine Frau steht neben einem Roboterarm, während sie einen verbundenen Handschuh trägt und einem Mann neben ihr die Funktionsweise des Roboters erklärt.
  • Foto eines Kindes, das eine Virtual-Reality-Brille trägt und einen Controller hält. Im Hintergrund ist ein Roboterarm zu sehen.
  • Drei weiße Behälter auf einem Tisch, darüber ein Roboterarm, der einen Holzwürfel greift
  • Ein Mann mit einer Virtual-Reality-Brille und zwei Controllern in der Hand. Neben dem Mann sehen wir einen Roboterarm.

Machine-to-human: Bewertung durch den Experten

Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.

Der taktile Roboter dient als multimodales Überwachungsgerät, das dem Menschen über intelligente Wearables ein vollständiges audiovisuelles und taktiles Feedback gibt. Als Beobachter:in im Avatar-Modus kann der Mensch die Kontaktsituation des angeschlossenen Roboters direkt erleben. Anhand dieses Feedbacks können programmierte oder sogar gelernte Aufgaben evaluiert werden. Darüber hinaus ermöglicht die Verbindung über das taktile Internet, dass komplexe Aufgaben von Robotern erlernt und später vom Menschen erlebt werden können.

Fingertac Demonstrator

Der Fingertac-Demonstrator zeigt, wie intuitive Robotersteuerung mit taktiler Rückmeldung funktioniert. Der/die Benutzer/in kann einen Roboterarm durch einen Textilhandschuh mit Fingertac (vibrotaktiles Feedback) steuern. Durch das Erleben des Feedbacks an den Fingerspitzen wird der/die Benutzer/in intuitiv durch definierte Aufgaben geführt. Die Vorteile des vibrotaktilen Feedbacks bei einer ferngesteuerten Roboterbedienung sind die Erleichterung der Robotersteuerung und eine erhöhte Arbeitssicherheit. Diese werden im Rahmen einer noch in der Entwicklung befindlichen Chemielaboranwendung aufgezeigt.

  • Eine Hand, die einen intelligenten Handschuh trägt, und ein Mann, der nach dem Handschuh greift
  • Eine Frau steht neben einem Fenster und trägt einen intelligenten Handschuh mit Sensoren am Arm
  • Eine Person trägt einen intelligenten Handschuh mit am Arm angebrachten Sensoren
  • Eine ausgestreckte Hand, die grafisch auf einem Laptop wiedergegeben wird
  • Eine ausgestreckte Hand mit rot lackierten Nägeln und einem Bildschirm, auf dem virtuell ein Klavier gespielt wird
  • Foto von vier Personen, von denen eine auf ein Klavier im Fernsehen zeigt und die anderen zuschauen

Haptischer Ultraschall-Demonstrator

Ziel des Haptic Ultrasound Demonstrators ist es, eine berührungslose haptische Steuerung in einer virtuellen Umgebung zu zeigen, z. B. taktile Hinweise auf physische Objekte oder Kraftrückmeldung unter einer Handfläche für dynamische Bedingungen. Diese immersiven Empfindungen können das haptische Erlebnis verbessern, zum Beispiel bei der Steuerung eines Roboters über die virtuelle Realität.

Kooperative Forschungsprojekte

Die Innovationen des CeTI spiegeln sich in seiner Struktur und seinen Forschungszielen wider. Dabei stützt sich das CeTI auf die herausragende Expertise innerhalb der TU Dresden und assoziierter Einrichtungen in den Bereichen Kommunikation, Robotik, Elektrotechnik, Informatik, Psychologie, Neurowissenschaften und Medizin. CeTI betreibt multidisziplinäre Forschung, um (i) das Verständnis der Komplexität und Dynamik menschlicher zielgerichteter Wahrnehmungen und Handlungen aus psychologischer und medizinischer Sicht zu verbessern, (ii) neuartige Sensor- und Aktortechnologien zu entwickeln, die den menschlichen Geist und Körper erweitern, (iii) schnelle, biegsame, adaptive und rekonfigurierbare Elektronik zu entwickeln, (iv) intelligente Kommunikationsnetzwerke zu erschaffen, die Menschen und CPS durch kontinuierliche Anpassung und Lernen verbinden, um niedrige Latenzzeiten sowie ein hohes Maß an Belastbarkeit und Sicherheit zu bieten, (v) neue haptische Kodierungsschemata zu entwerfen, um die Informationsflut einer riesigen Anzahl von Körpersensoren zu bewältigen, (vi) Online-Lernmechanismen sowie Schnittstellenlösungen für Maschinen und Menschen zu entwerfen, um die Handlungen des jeweils anderen vorherzusagen und zu ergänzen, und (vii) die oben genannten Lösungen zu evaluieren sowie die Öffentlichkeit über die gesellschaftlichen und ethischen Veränderungen und neuen Möglichkeiten, die die neuen Technologien mit sich bringen werden, anhand von Anwendungsfällen in der Medizin (kontextbewusste robotische Assistenzsysteme in medizinischen Umgebungen), der Industrie (Coworking-Industrieraum) und dem Internet der Kompetenzen (Bildung und Kompetenzerwerb für die Allgemeinheit) zu informieren.

Das Zusammenleben von Robotern und Menschen erfordert unterschiedliche Technologien, die in verschiedenen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.

Das Lehren und Lernen von Fertigkeiten über große Entfernungen erfordert unterschiedliche Technologien, die in verschiedenen Forschungsprojekten getestet werden, die sich gegenseitig ergänzen und aufeinander aufbauen.

Erfassung und Modellierung der Welt

Mit der Popularität von RGB-D-Kameras wurde eine Vielzahl von Systemen zur 3D-Rekonstruktion im laufenden Betrieb vorgeschlagen. Für sichere Übergabesituationen zwischen Menschen und Robotern sind die Präzision und die Latenzzeit der aktuellen 3D-Erfassungs- und Verfolgungsansätze jedoch immer noch unzureichend. Immersive Modellierung ist ein vielversprechender Weg, um 3D-Objekte in VR/AR zu kennzeichnen, zu segmentieren und semantische Eigenschaften zu extrahieren. Daher schlagen wir ein mehrschichtiges immersives 3D-Scanning-Framework vor, um eine AR/VR-Umgebung für verschiedene Anwendungen zu schaffen. Das Framework basiert auf der Strukturierung von Punktwolken in sinnvolle Teile. Die Verknüpfung der physischen und der virtuellen Welt führt zur Entwicklung und Umsetzung einer natürlichen Interaktion zwischen Mensch und Maschine.

Textile Sensoren und Aktuatoren

Die Textiltechnologie am CeTI befasst sich zum Beispiel mit der Funktionalität von Textilien und der Stricktechnologie. Sie bietet eine breite Palette von Möglichkeiten zur Verbesserung von Textilien für verschiedene Anwendungen, die ständig erweitert wird. Die Forschung konzentriert sich auch auf textilbasierte Sensoren und Aktuatoren und deren leitfähiges Verhalten. Diese Sensoren und Aktuatoren bringen viele vorteilhafte Eigenschaften für Wearables mit sich. Wearables, intelligente Textilien und Geräte sind die Hardwarebasis für Softwareentwicklung und psychologische Untersuchungen. Der CeTI-Handschuh und das Smart Kinesiotape sind das Ergebnis von Forschungen, bei denen textil-physikalische und elektromechanische Untersuchungen zusammenkommen.

Interaktion der menschlichen Hand

Die menschliche Hand ist ein außerordentlich komplexes System. Es ist wichtig, genau zu verstehen, wie die menschliche Hand mit Objekten interagiert. Diese Informationen werden verwendet, um die Anforderungen zu ermitteln, die notwendig sind, um Roboterhände zu bauen, die in der Lage sind, die analysierten Szenarien - zunächst Greifhaltungen - auszuführen. Die Genauigkeit des Rahmens für die Darstellung der menschlichen Interaktion wird durch die Beobachtung der aufgezeichneten Kontaktflächen und den Vergleich mit den Daten des Bewegungsverfolgungssystems bewertet.

Raumleiter:innen

Uwe Aßmann
Uwe AßmannProf. Dr.
Lehrstuhl für Softwaretechnik; TU Dresden
Diana Göhringer
Diana GöhringerProf. Dr.
Lehrstuhl für Adaptive Dynamische Systeme; TU Dresden
Sami Haddadin
Sami HaddadinProf. Dr.
Lehrstuhl für Robotik und Systemintelligenz; TU München