Projekt

Dem Gespräch zweier Sprecher folgen und sich an das Gesagte erinnern: Kognitionsforschung mittels dialogfähiger virtueller Personen in audiovisuellen, virtuellen Umgebungen

Gesprächen zuzuhören und sich an das Gesagte zu erinnern ist ein wesentlicher Bestandteil der Kommunikation in privaten, beruflichen und schulischen Kontexten. Dennoch wurden das Zuhören und das Erinnern gehörter Inhalte aus kognitiv-psychologischer und akustischer Sicht jenseits einzelner Silben, Wörter oder isolierter Sätze und in realitätsnahen Kommunikationssituationen bisher kaum untersucht. Dies trifft insbesondere auf den Einfluss audiovisueller Merkmale der Gesprächssituation und des Sprachsignals zu, wie eine plausible Raumakustik und co-verbale Hinweisreize. Unser disziplinenübergreifender Ansatz besteht darin, eine audiovisuelle Virtual Reality (VR)-Testumgebung mit dialogfähigen virtuellen Agenten zu entwickeln. Diese wird dann in einer Reihe von Experimenten eingesetzt mit dem Ziel, die Effekte verschiedener akustischer, visueller und audiovisueller Charakteristika auf kognitive Zuhör-Leistungen, das Benutzererlebnis und auf die Präsenz in VR-Anwendungen (insb. mit Fokus auf sozialer Interaktion), zu erforschen. Das Projekt verfolgt drei Hauptziele:Im Forschungsfeld Auditive Kognition wird die Abhängigkeit von systematisch variierten audiovisuellen Merkmalen virtueller Umgebungen auf das Erinnern und Verstehen von Gesprächen zwischen mehreren Personen untersucht. Dabei werden Effekte auf das Kurzzeitgedächtnis für gesprochene Inhalte und das Textverständnis unter Berücksichtigung von Höranstrengung geprüft, die zur Theoriebildung in der auditiven Kognitionsforschung beitragen. Für interaktive virtuelle Umgebungen wird untersucht, wie deren audiovisuelle Simulations- und Wiedergabetreue zur von den Nutzern empfundenen Realitätstreue von VR-Anwendungen mit virtuellen Agenten beitragen. Insbesondere wird geprüft, wie sich kombinierte verbale/akustische und co-verbale/visuelle Merkmale in solchen Szenarien auf die Präsenzerfahrung und die kognitive Leistung eines Nutzers auswirken. Darüber hinaus werden die technischen Qualitätskriterien identifiziert, die in Bezug auf räumliche Audiowiedergabe und visuelle Immersion zu erfüllen sind. Das Projekt trägt zur Entwicklung von Methoden zur Beurteilung der "Quality of Experience (QoE)" in VR-Umgebungen bei, indem es diesbezüglich die Eignung von Textgedächtnis und -verständnis betrachtet. Dabei ist in zweierlei Hinsicht wichtig zu verstehen, welche Aspekte und Charakteristika der VR-Realitätstreue die kognitive Leistung und/oder subjektive Beurteilungen beeinflussen: Zum einen für die auditive Kognitionsforschung, um den notwendigen Grad an Realitätstreue bei der Präsentation gehörter Texte bzw. Konversationen bei der Erforschung von Gedächtnis und Verständnis für diese zu bestimmen, und zum anderen, um die für ein wahrnehmungs-, kognitions- und QoE-optimiertes VR-System notwendigen audiovisuellen Features zu identifizieren.