Audio-visuelle Interaktion
In unserem täglichen Leben nehmen wir Informationen mit verschiedenen Sinnesorganen wahr, insbesondere mit den Augen und Ohren. Zum Beispiel wird ein singender Vogel oder ein vorbeifahrendes Auto gehört und gesehen. Mit anderen Worten interagiert die auditive mit der visuellen Wahrnehmung in realen Situationen. Dies gilt insbesondere in komplexen akustischen Situationen wie in städtischen Umgebungen, Klassenzimmern oder in einer Cocktail-Party-Situation.
Um die Integration verschiedener sensorischer Prozesse in diesen realen Situationen besser zu verstehen und um eine höhere ökologische Validität zu erreichen, müssen realistische bzw. plausible Hörbedingungen geschaffen werden. Ziel ist es, die schwer zu reproduzierenden und zeitaufwendigen Feldstudien mit Hilfe von virtuellen Szenen akustisch und visuell ins Labor zu bringen. Der visuelle Teil kann von statischen Bildern bis hin zur kompletten VR-Unterstützung mit Großbildschirmen und 3D-Brillen variieren. In Kombination mit der akustischen Wiedergabe wird die virtuelle Schallquelle visuell und akustisch lokalisierbar, wie es in einer realen Situation gegeben ist. Durch die Zusammenführung dieser beiden Eigenschaften kann eine genaue Simulation der realen Welt geschaffen und zur Untersuchung der visuellen und auditiven Wahrnehmung in kontrollierten Umgebungen verwendet werden.
Das Forschungsgebiet der audiovisuellen Interaktion ist sehr interdisziplinär. Es berührt neben Technik und Akustik auch Biologie, Psychologie und Informatik. Obwohl jeder Bereich seinen eigenen Schwerpunkt mit spezifischen Forschungsfragen setzt, müssen alle verschiedenen Bereiche eng zusammenarbeiten, um das Wissen zu kombinieren und erstklassige Erkenntnisse zur multisensorischen Integration zu erzielen.
Für den Bereich der Akustik ist es zum Beispiel interessant, die Kohärenz zwischen auditiver und visueller Wiedergabe, den Einfluss der Raumakustik auf die audiovisuelle Integration sowie die Plausibilität der korrekten räumlichen Klangwiedergabe in Kombination mit visuellen Objekten zu untersuchen. Die Auswirkungen von auditiven und visuellen Distraktoren auf die multisensorische Sprachwahrnehmung und -erkennung sind Gegenstand der Forschung. Darüber hinaus ist die audiovisuelle Interaktion nicht nur für Erwachsene, sondern auch für Kinder relevant. In diesem Forschungsfeld werden daher auch entwicklungsbedingte Veränderungen im kognitiven Verhalten von Kindern in virtuellen Szenen untersucht.
Ziel dieses Forschungsfeldes ist es, ein besseres Verständnis für die audio-visuelle Integration des Menschen beim Hören in herausfordernden Situationen zu gewinnen. Der Nutzen, die Kombination von auditiver und visueller Wahrnehmung zu untersuchen, liegt in einem besseren Verständnis von komplexen neuronalen Verarbeitungsmustern, wie beispielsweise der Sprachwahrnehmung und der (auditiven) selektiven Aufmerksamkeit.