Research areas Binaural Hearing / Acoustic Virtual Reality

Im Rahmen der Kooperation im VRCA wurde bisher an der Modellierung der Schallentstehung und an der korrekten Richtungswiedergabe gearbeitet. Dazu wurden in ViSTA, das im Rahmen des VRCA entwickelte VR-Softwaretool, als Schallquellen bisher entweder Audiodateien mit offline vorbereiteten Signalen oder alternativ ein einfaches System zur parametrierbaren Klangsynthese implementiert. Die Erweiterung um physikalische Modelle ist geplant. Ebenfalls verfügbar ist ein Modul zur Simulation der Richtungswahrnehmung. Dieses steuert eine externe DSP Hardware die einen akustischen Richtungsmischer realisiert, der die Audiosignale mit räumlichen Richtungsinformationen für Kopfhörerwiedergabe versieht. In Zukunft soll die im Rechenzentrum bereits existierende "Holo-Bench", eine zwei Ebenen Video-Projektion, um ein Wiedergabesystem mit dynamischer Übersprechkompensation erweitert werden. Neben der Erzeugung dreidimensionaler Bilder ist dann auch die Wiedergabe dreidimensionaler akustischer Szenen möglich. Außerdem wird die Funktion des Richtungsmischers auf eine rein softwarebasierte Implementation umgestellt, womit eine spezielle DSP-Hardware zur Erzeugung der binauralen Signale zukünftig nicht mehr benötigt wird. Dieser Richtungsmischer ist in der Lage, mehreren Audiosignalen unterschiedliche Richtungsinformationen aufzuprägen und zusammenzumischen. Die Relativposition bzw. -bewegung des Users zu den virtuellen Quellen wird dabei in Echtzeit berücksichtigt. Eine Kopplung des Richtungsmischer (binaurale Synthese) mit der dynamischen Übersprechkompensation zur Wiedergabe ermöglicht einen sehr realistischen dreidimensionalen Charakter der akustischen Szene bei voller Bewegungsfreiheit des Users. Als Steuereinheit fungiert dabei die VRCA-Software ViSTA. Sie bestimmt die Sounds (Audiodateien), Start- und Endzeitpunkt, alle Richtungsangaben, sowie mehrere klangbeeinflussende Parameter. Das Abstimmen und Weiterentwickeln aller beteiligten Teilsysteme wird der nächste Schritt in der Zusammenarbeit von ITA und VRCA sein.