Akustische Virtuelle Realität

 

Ansprechpartner

  Eine Person geht in einer Cave durch eine virtuelle Kirche ITA

Die Interaktion eines Menschen mit seiner Umgebung geschieht durch eine Vielzahl von Sinnesreizen. Neben der optischen, haptischen und taktilen Wahrnehmung liefert auch die Akustik wichtige Informationen über die Umgebung. Man erhält einen Eindruck über die Umgebung, über externe Ereignisse und insbesondere auch Feedback über eigene Aktionen (Propriozeption = Eigenwahrnehmung). Um in einer virtuellen, simulierten Umgebung ein optimales Eintauchen (Immersion) zu erreichen, müssen die simulierten Reize für alle Sinne konsistent sein. Dieser Schall breitet sich durch Strukturen und über die Luft aus, wird von Objekten wie zum Beispiel Wänden in einem Raum reflektiert und erreicht schließlich den Ort des Empfängers. Der Mensch wertet verschiedene Eigenschaften dieser Schallereignisse aus. Diese sind unter anderem die Lautstärke, die Klangfarbe, die Einfallsrichtung des Direktschalls und den wahrgenommenen Abstand. Zusätzlich können Rückschlüsse auf die Umgebung gezogen werden, in der man sich befindet, bei einem Raum zum Beispiel auf die Größe und die Form. Dies geschieht indem die Feinstruktur der Impulsantwort zwischen Sender und Empfänger bestehend aus der Überlagerung des Direktschalls und der Reflexionen zeitlich analysiert wird. Es wurde also ein System bestehend aus drei hintereinander geschalteten Komponenten identifiziert, die Schallentstehung, die Ausbreitung des Schalls bis zum Empfänger und schließlich die Wahrnehmungsprozesse beim Empfänger, die im Fachgebiet Psychoakustik untersucht werden. Die Psychoakustik definiert insbesondere die Qualitätsanforderungen, die von den Komponenten erfüllt werden müssen. Für ein VR System muss zusätzlich noch die Wiedergabe berücksichtigt werden, um die simulierten akustischen Signale geeignet zu Gehör zu bringen.

  Visuelles Modell einer Kirche ITA Visuelles Modell einer alten Kirche

Die Erzeugung auditiver Stimuli nennt man Auralisation oder "akustisches Rendering". Dies ist genauso wie der Begriff der "Visualisierung" zu verstehen. Die Grundlage für die Auralisation ist die Berechnung eines akustischen Impulsantwort mittels geeigneter Simulationstechniken. Heute gibt es zahlreiche Methoden der Numerik, sowohl geometrische wie wellenbasierte Verfahren. Die Herausforderungen für die Forschung und Entwicklung für die Auralisation und somit für die virtuelle Akustik hängen mit den Anforderungen an die Echtzeitverarbeitung zusammen. Die Erzeugung der akustischen Szenen (Rendering) und die Wiedergabe muss so schnell erfolgen, dass keine Verzögerung (Latenz) oder sonstige Artefakte entstehen.

Parallel zu den Fortschritten in der raumakustischen Simulationstechnik wurden komplexe Modelle zur Simulation vibroakustischer Probleme wie bei der Schalldämmung von Gebäuden und bei der Transferpfadanalyse und -synthese in der Automobilindustrie entwickelt. Die Vielfalt der Anwendungen der Virtuellen Akustik ist somit sehr groß und geht über das Hören von Musik und die Qualitätsbewertung von Konzertsälen hinaus. Sound Design sowie Untersuchungen von Klängen und Geräusche für die Bauakustik, Fahrzeugakustik, Lärmbekämpfung und Psychoakustik sind weitere interessante Anwendungsfelder.

 

Beispiel-Videos

Offline Visualisierung und Auralisierung mit physikalisch basierter Raumakustik-Simulation

 
Eurogress_binaural
Eurogress_binaural
 
 

Virtual Acoustics (VA) und die aixCAVE

 
aixCAVE_VATSS
aixCAVE_VATSS
 
aixCAVE_SanJuan
aixCAVE_SanJuan
 
 

Virtual Acoustics (VA) und Unity mit einer VR-Brille

Die folgenden Videos wurden von Maurice Andreas während seiner Bachelorarbeit zum Thema „Physikalisch basierte Echtzeit-Auralisierung mit der Spiele- und VR-Umgebung Unity“ erstellt. Das Material ist unter der Creative Commons Version 2.0 lizensiert.

 
VAUnity_AVStudy_Park
VAUnity_AVStudy_Park
 
 

Interaktive Parksituation, welche die Nutzung von Unity mit Virtual Acoustics (VA) für eine audio-visuelle Benutzerstudie demonstriert. Die fiktive Aufgabe besteht darin, das zwitschernde Rotkehlchen mit Hilfe eines Zeigegerätes zu lokalisieren, wobei akustische Quelle und (schwer auszumachendes) visuelles Modell nicht am selben Ort sein müssen. Die Hypothese bestände in der Frage, welche Modalität dominiert.

Für eine verbesserte Immersionserfahrung wurde das binaurale Signal nicht über Kopfhörer sondern mittels eines transauralen Lautsprechersystems mit dynamischer Mehrkanal-Übersprechkompensation (dynamic multi-channel cross-talk cancellation) realisiert.

 
VAUnity_ReverbDemo
VAUnity_ReverbDemo
 
 

Situation in einem virtuellen Raum mit einer Band und einigen skalierten Gebäuden auf Pfeilern zur Demonstration der Interaktion mit der Akustik. Wenn der Benutzer den Kopf in die Modelle steckt, wird die Nachhallzeit entsprechend angepasst und mit einem künstlichen binauralen Nachhall simuliert. Zur freien Bewegung kann eine Portal-Navigation mit dem Handcontroller verwendet werden. Für die Interaktion mit der Auralisierung durch die Rendering-Module wurde ein Menü genannt SoundPallette implementiert, mit dem Auralisierungsmodi aktiviert oder deaktiviert werden können (z.B. Direktschall, frühe Reflexionen, diffuser Nachhall, Doppler-Verschiebung, Abstandsgesetzt und andere). Hinweis: die Interaktion mit dem Menü durch den Benutzer ist in diesem Video nicht dargestellt.

Für eine verbesserte Immersionserfahrung wurde das binaurale Signal nicht über Kopfhörer sondern mittels eines transauralen Lautsprechersystems mit dynamischer Mehrkanal-Übersprechkompensation (dynamic multi-channel cross-talk cancellation) realisiert.