Abschlussarbeit

Kurzzeitgedächtnisleistung unter audio-visuellen Diskrepanzen von Lippenbewegungen

Bachelorarbeit von Li, Tong

Im modernen Leben steigt der Anteil der computergestützten Unterhaltungen stetig an, z. B. bei Vorlesungen per Zoom oder Gesprächen in der Virtuellen Realität (VR). Im realen Leben werden Informationen multimodal wahrgenommen: Ton als auditive Information wird zusammen mit kohärenten visuellen Cues, wie z. B. Lippenbewegungen, aufgenommen. Aufgrund der Instabilität des Netzwerks bei Videogesprächen oder aufgrund der Qualität der Gestaltung einer VR-Szene kann es jedoch zu einer Diskrepanz zwischen auditiven und visuellen Inhalten kommen, genauer zwischen der Lippenbewegung und der gehörten Stimme. Es ist möglich, dass dieser audiovisuelle Mismatch die Gedächtnisleistung beeinträchtigt.

Ziel dieser Arbeit ist es, die Auswirkung des audiovisuellen Mismatches von Lippenbewegung und gehörten Worten auf das Kurzzeitgedächtnis anhand eines seriellen Recall-Hörversuchs zu evaluieren und die Ergebnisse im Hinblick auf bereits bekannte Kurzzeitgedächtnismechanismen zu analysieren. Weiterhin wird untersucht, ob reale Lippenbewegungen und simluierte Lippenbewegungen von virtuellen Agenten, wie sie in VR Anwendung finden, die Kurzzeitgedächtnisleistung unterschiedlich beeinflussen. Die Ergebnisse können für die zukünftige Entwicklung von VR-Szenen hilfreich sein.