Multimodale Mensch-Roboter-Interaktion

Die vielfältigen Einsatzmöglichkeiten von Robotern im industriellen Bereich bzw. im Medizin- oder Pflegebereich erfordern zur Reduzierung der Komplexität von Einrichtung, Programmierung und Bedienung von Robotern eine intuitive und ggf. multimodale Interaktion zwischen Mensch und Roboter. Innovative Technologien für die Mensch-Roboter-Interaktion haben dabei das Potenzial den aktuellen Herausforderungen des Fachkräfte- und Arbeitskräftemangels zu begegnen und die Akzeptanz, Ergonomie und Training von ungelernten/ungeübten Personen beim Einsatz von Robotern signifikant zu erhöhen. Darüber hinaus können innovative Bedien-, Eingabe- und Visualisierungssysteme neben den Robotikanwendungen auf vielfältige Anlagen, Maschinen und technische Komponenten adaptiert werden.

Projektive Einblendung interaktiver, virtueller Schaltflächen in Abhängigkeit des aktuellen Prozessschrittes und der Position des Menschen. Betätigung per Hand oder Fuß zur Steuerung von Prozessen.

Die Erforschung und Entwicklung innovativer Technologien zur Umsetzung intuitiver bzw. multimodaler Interaktionskonzepte zwischen Mensch und Roboter stellen einen wesentlichen Schwerpunkt der Abteilung Robotersysteme des Fraunhofer IFF dar.

Hierzu zählen insbesondere:

  • Visualisierungssysteme auf Basis projektiver Augmented Reality (AR) oder fußbodenintegrierte LED-Beleuchtungssysteme zeigen maschinen-, prozess- und sicherheitsrelevante Zustände von technischen Komponenten, Maschinen/Robotern oder Anlagen dem Nutzer direkt im Arbeitsbereich an. Dies erhöht die Transparenz und Akzeptanz für den Menschen.
  • Virtuelle Schaltflächen können universell, z.B. in Abhängigkeit der aktuellen Arbeitssituation auf verschiedenste Oberflächen im Arbeitsbereich projiziert werden und steigern damit die Ergonomie des Werkers.
  • Unter rauen Umgebungsbedingungen (hohe Luftfeuchte, starke Fremdlichteinflüsse, Rauch, etc.) sind berührungsempfindliche Eingabesysteme in Form von taktilen Fußböden oder flexibel integrierbare Touch-Systeme prädestiniert.
  • Spezifische Handlungen wie Hand-, Arm- und Körperbewegungen können als Gesten zur Bedienung und Steuerung von Robotern/Maschinen verwendet werden und die Ergonomie des Werkers steigern.
  • Neue Methoden im Bereich der Künstlichen Intelligenz werden zur Erkennung von Personen, deren aktuelle Handlungen und Ableitung von Handlungsintentionen genutzt, um dynamisch den Roboterprozess (Bewegungen, Prozessschritt, etc.) anzupassen.
  • Die Kombination verschiedener vorgenannter Eingabesysteme -z.B. auch ergänzt durch Sprachsteuerung- resultiert in multimodalen Eingabesystemen, die der Werker in Abhängigkeit des Arbeitsprozesses und/oder eigener Präferenzen effizient und zweckmäßig nutzen kann.

Weitere aktuelle Forschungsthemen beinhalten die Nutzbarmachung radarbasierter und ultraschallbasierter Sensorsysteme zur Umsetzung intuitiver Interaktionslösungen für die Mensch-Roboter-Interaktion.

Unsere Leistungen

  • Konzeption und Entwicklung innovativer Sensortechnologien zur Umsetzung multimodaler Interaktionskonzepte für eine intuitive Mensch- Roboter/Maschine/Technik -Interaktion
  • Umfassende Kenntnisse und Erfahrungen auf dem Gebiet der optischen und berührungsempfindlichen Sensorsysteme (patentierte Lösungen)
  • Kundenspezifische Umsetzung von berührungsempfindlichen oder berührungslosen Eingabesystemen zur Einrichtung, Programmierung und Bedienung von Robotern, Maschinen, Anlagen und technischen Komponenten
  • Kundenspezifische Umsetzung von Visualisierungssystemen zur Darstellung von sicherheits-, prozess- und roboterspezifischen Informationen
  • Durchführung von Machbarkeitsuntersuchungen und Aufbau von Demonstratoren

Technologien

Detaillierte Informationen zu unseren Technologien finden Sie auf den folgenden Seiten:

 

Projektions- und kamerabasierte Technologie 

Wir haben eine projektions- und kamerabasierte Technologie für die Überwachung von Arbeitsräumen entwickelt, die in Mensch-Roboter-Kooperationsszenarien Sicherheit sowie Interaktionsmöglichkeiten, 3D-Umgebungserfassung und Werkerassistenz bietet. Diese Technologie zeichnet sich durch schnelle Reaktionszeiten, geringe Sicherheitsabstände, Unabhängigkeit von Fremdlicht und hohe Verfügbarkeit aus.

 

Taktile Sensorik für die sichere Mensch-Roboter-Kollaboration

Taktile Sensorsysteme, die dem menschlichen Tastsinn nachempfunden sind, ermöglichen die Erfassung von Berührungen und Druckverteilungen und finden Anwendung in Mensch-Maschine-Interaktionen, Prozessüberwachung und präzisem Greifen. Wir entwickeln individuelle taktile Sensorsysteme, die von Prototypen bis zu komplexen Systemen reichen, mit Hauptanwendungsfeldern in taktilen Fußböden, Roboterhäuten und Greifern.

 

Visualisierungssysteme

KI-basierte Verfahren zur Detektion von Personen und deren Handlungen

Referenzen

Unsere Referenzlösungen:

 

Altersgerechte Assistenz durch drucksensitive interaktive Bodenmodule

Im Projekt ALADIN wurden neuartige Bodenbeläge mit hochauflösenden, drucksensitiven Sensorflächen und integrierter Visualisierungsfunktion entwickelt. Mit Hilfe dieser Bodenbeläge erreichen wir eine deutlich verbesserte Bewegungs- und Sturzerkennung sowie eine zielgerichtete Visualisierung von Hinweisen in der eigenen Wohnung.

 

Integrierter, intelligenter projektionsbasierter Assistent

Im Projekt IIPA entwickelten wir einfach aufzubauende projektionsbasierte Assistenzsysteme als integrierte AR-Lösung für die Industrie. Die Systeme nutzen KI zur Erkennung von Anwesenheit und Gesten und bieten optimierte Projektionen für verbesserte Transparenz und Ergonomie am Arbeitsplatz.

 

Robotergestützte Gesundheitsstation für ein Digital Health Ecosystem

Das Projekt Neighborhood Diagnostics zielt darauf ab, die Gesundheitsversorgung im ländlichen Raum durch ein digitales Gesundheitsökosystem zu verbessern, das dezentrale Diagnostik mittels Smartphones, intelligenten medizinischen Geräten und tragbaren Geräten ermöglicht.

 

Stimulate

 

Sichere Mensch-Roboter-Kollaboration mit Schwerlastrobotern in industriellen Anwendungen

Im Projekt SAPARO entwickelten wir ein innovatives Sensor- und Visualisierungssystem, das dynamische Sicherheitszonen basierend auf Roboterbewegungen und taktilen Fußböden zur sicheren Mensch-Roboter-Kooperation mit Schwerlastrobotern ermöglicht.

Anwendungsbereiche

 

Mensch-Technik-Interaktion im Pflegebereich

 

Taktile Sensorsysteme zum gefühlvollen Greifen

Unsere taktilen Sensorsysteme ermöglichen eine dynamische und objektspezifische Anpassung der Greifkraft bei industriellen Greifern, indem sie die auf die Greifflächen einwirkenden Kräfte ortsaufgelöpst erfassen. Diese Technologie ermöglicht das reaktive Greifen nach dem Vorbild der menschlichen Hand und ist ideal für das Handling fragiler oder biegeschlaffer Objekte.

 

Taktile Sensorsysteme als Eingabegeräte

Taktile Sensorsysteme die zur sicheren Kollisionserkennung in Form einer drucksensitiven Haut auf bewegte Maschinenteile oder Roboter aufgebracht wurden, können über die Kollisionserkennung hinaus auch als Bedieninterface genutzt werden.