Multimodale Interaktion in Mensch-Maschine-Systemen

Wachsmuth I. Multimodale Interaktion in Mensch-Maschine-Systemen. In: Urbas L, Steffens C, eds. Zustandserkennung und Systemgestaltung - 6. Berliner Werkstatt Mensch-Maschine-Systeme. 2005: 1-6.In diesem Beitrag werden aktuelle Arbeiten im Bielefelder Labor für Künstliche Intelligenz und Virtuelle Realität aus zwei Bereichen multimodaler Mensch-Maschine-Systeme im Überblick vorgestellt. Im Projekt „Virtuelle Werkstatt“ geht es um eine integrierte Plattform zur multimodal-interaktiven Erstellung, Modifikation und funktionalen Überprüfung von Prototypen mechanischer Objekte in der virtuellen Realität. Dabei werden hochaufgelöste räumliche Visualisierungen CAD-basierter Bauteilmodelle in realistischer Größe projiziert und über multimodale Eingaben (vermittelt durch Datenhandschuhe, Positionssensoren, Spracherkenner) zu komplexen Aggregaten zusammengefügt oder modifiziert. Erprobungsdomäne ist das virtuelle Konstruieren von CAD-Teilen und Baugruppen eines Kleinfahrzeugs. Im zweiten Teil wird der computeranimierte artikulierte Agent „Max“ vorgestellt – ein intelligenter virtueller Assistent, der mit Benutzern Dialoge über das Bauen mit Baukastenteilen führt, sprachliche und gestische Instruktionen versteht und sich selbst mehrmodal in synthetischer Sprache, Gestik und Mimik äußert. Methoden der Künstlichen Intelligenz kommen sowohl zur Unterstützung der Interaktion mit computergraphischen Objekten wie auch bei der Auswertung bzw. Erzeugung multimodaler Ein- und Ausgaben zum Einsatz