Akustische Virtuelle Realität
Die Interaktion eines Menschen mit seiner Umgebung geschieht durch eine Vielzahl von Sinnesreizen. Neben der optischen, haptischen und taktilen Wahrnehmung liefert auch die Akustik wichtige Informationen über die Umgebung. Man erhält einen Eindruck über die Umgebung, über externe Ereignisse und insbesondere auch Feedback über eigene Aktionen (Propriozeption = Eigenwahrnehmung). Um in einer virtuellen, simulierten Umgebung ein optimales Eintauchen (Immersion) zu erreichen, müssen die simulierten Reize für alle Sinne konsistent sein. Dieser Schall breitet sich durch Strukturen und über die Luft aus, wird von Objekten wie zum Beispiel Wänden in einem Raum reflektiert und erreicht schließlich den Ort des Empfängers. Der Mensch wertet verschiedene Eigenschaften dieser Schallereignisse aus. Diese sind unter anderem die Lautstärke, die Klangfarbe, die Einfallsrichtung des Direktschalls und den wahrgenommenen Abstand. Zusätzlich können Rückschlüsse auf die Umgebung gezogen werden, in der man sich befindet, bei einem Raum zum Beispiel auf die Größe und die Form. Dies geschieht indem die Feinstruktur der Impulsantwort zwischen Sender und Empfänger bestehend aus der Überlagerung des Direktschalls und der Reflexionen zeitlich analysiert wird. Es wurde also ein System bestehend aus drei hintereinander geschalteten Komponenten identifiziert, die Schallentstehung, die Ausbreitung des Schalls bis zum Empfänger und schließlich die Wahrnehmungsprozesse beim Empfänger, die im Fachgebiet Psychoakustik untersucht werden. Die Psychoakustik definiert insbesondere die Qualitätsanforderungen, die von den Komponenten erfüllt werden müssen. Für ein VR System muss zusätzlich noch die Wiedergabe berücksichtigt werden, um die simulierten akustischen Signale geeignet zu Gehör zu bringen.
Die Erzeugung auditiver Stimuli nennt man Auralisation oder "akustisches Rendering". Dies ist genauso wie der Begriff der "Visualisierung" zu verstehen. Die Grundlage für die Auralisation ist die Berechnung eines akustischen Impulsantwort mittels geeigneter Simulationstechniken. Heute gibt es zahlreiche Methoden der Numerik, sowohl geometrische wie wellenbasierte Verfahren. Die Herausforderungen für die Forschung und Entwicklung für die Auralisation und somit für die virtuelle Akustik hängen mit den Anforderungen an die Echtzeitverarbeitung zusammen. Die Erzeugung der akustischen Szenen (Rendering) und die Wiedergabe muss so schnell erfolgen, dass keine Verzögerung (Latenz) oder sonstige Artefakte entstehen.
Parallel zu den Fortschritten in der raumakustischen Simulationstechnik wurden komplexe Modelle zur Simulation vibroakustischer Probleme wie bei der Schalldämmung von Gebäuden und bei der Transferpfadanalyse und -synthese in der Automobilindustrie entwickelt. Die Vielfalt der Anwendungen der Virtuellen Akustik ist somit sehr groß und geht über das Hören von Musik und die Qualitätsbewertung von Konzertsälen hinaus. Sound Design sowie Untersuchungen von Klängen und Geräusche für die Bauakustik, Fahrzeugakustik, Lärmbekämpfung und Psychoakustik sind weitere interessante Anwendungsfelder.
Beispiel-Videos
Im Folgenden sind einige Beispiel-Videos zum Thema Auralisation dargestellt. Die entsprechenden Audio-Samples wurden mit unserer Software Virtual Acoustics (VA) erzeugt. Eine vollständige Liste unserer Videos befindet sich auf unserem YouTube Kanal
Offline Visualisierung und Auralisierung mit physikalisch basierter Raumakustik-Simulation
Virtual Acoustics (VA) und die aixCAVE
Virtual Acoustics (VA) und Unity mit einer VR-Brille
Die folgenden Videos wurden von Maurice Andreas während seiner Bachelorarbeit zum Thema „Physikalisch basierte Echtzeit-Auralisierung mit der Spiele- und VR-Umgebung Unity“ erstellt. Das Material ist unter der Creative Commons Version 2.0 lizensiert.
Interaktive Parksituation, welche die Nutzung von Unity mit Virtual Acoustics (VA) für eine audio-visuelle Benutzerstudie demonstriert. Die fiktive Aufgabe besteht darin, das zwitschernde Rotkehlchen mit Hilfe eines Zeigegerätes zu lokalisieren, wobei akustische Quelle und (schwer auszumachendes) visuelles Modell nicht am selben Ort sein müssen. Die Hypothese bestände in der Frage, welche Modalität dominiert.
Für eine verbesserte Immersionserfahrung wurde das binaurale Signal nicht über Kopfhörer sondern mittels eines transauralen Lautsprechersystems mit dynamischer Mehrkanal-Übersprechkompensation (dynamic multi-channel cross-talk cancellation) realisiert.
Situation in einem virtuellen Raum mit einer Band und einigen skalierten Gebäuden auf Pfeilern zur Demonstration der Interaktion mit der Akustik. Wenn der Benutzer den Kopf in die Modelle steckt, wird die Nachhallzeit entsprechend angepasst und mit einem künstlichen binauralen Nachhall simuliert. Zur freien Bewegung kann eine Portal-Navigation mit dem Handcontroller verwendet werden. Für die Interaktion mit der Auralisierung durch die Rendering-Module wurde ein Menü genannt SoundPallette implementiert, mit dem Auralisierungsmodi aktiviert oder deaktiviert werden können (z.B. Direktschall, frühe Reflexionen, diffuser Nachhall, Doppler-Verschiebung, Abstandsgesetzt und andere). Hinweis: die Interaktion mit dem Menü durch den Benutzer ist in diesem Video nicht dargestellt.
Für eine verbesserte Immersionserfahrung wurde das binaurale Signal nicht über Kopfhörer sondern mittels eines transauralen Lautsprechersystems mit dynamischer Mehrkanal-Übersprechkompensation (dynamic multi-channel cross-talk cancellation) realisiert.
Bauakustische Auralisation
Die Auralisierung der Bauakustik wurde auf eine interaktive audiovisuelle Echtzeit-Technologie, die VR-Technologie, erweitert um realistischere und kontextuellere Features in die zukünftigen psychoakustischen Experimente einzubringen. Nach den Fortschritten in der VR-Bauakustik-Auralisierung wird ein neues Testparadigma entwickelt, das dazu beiträgt, die Lärmbelastung in Gebäudesituationen in Abhängigkeit von den tatsächlichen Aktivitäten wie Wohnen, Arbeiten, Lernen oder Ausruhen besser zu analysieren und zu interpretieren.
Virtual Reality Framework: Auralisierung von Gebäudeakustik mit kontextuellen und interaktiven Features
Dieses Video zeigt einen Hörversuch, in dem sich Schallquellen im Freien in einem Virtual-Reality-Framework bewegen und untersucht die wahrgenommene Lokalisierungsfähigkeiten von Menschen sowohl in der realen als auch in virtuellen Umgebung. Dieses Experiment ist ein Beispiel für die Untersuchung von Lärmeffekten bewegter Schallquellen im Freien unter gebäudeakustischen Bedingungen, bei denen binaurale Schallsignale einer sich bewegenden Schallquelle präsentiert werden. Die Aufgabe besteht darin, zu beurteilen, ob sich die vorbeifahrende Quelle von rechts nach links oder von links nach rechts bewegt. Auf diese Weise kann der Nutzer vollständig in die Szene eingetauchen und nimmt die Schalldämmung der Gebäude wahr, wodurch die Bewertung der Gebäudeperformance durchgeführt werden kann.
Offline Auralisation eines Flugzeugüberflugs basierend auf Atmospheric Ray Tracing (ART) und Virtual Acoustics (VA)
Virtueller Überflug in der Startphase eines Flugzeugs mit physikalisch basierter Simulation der Schallübertragung in der Atmosphäre und binauraler Wiedergabe. Das Material ist unter der Creative Commons Version 4.0 (CC BY 4.0) lizensiert. Für einen angemessenen, räumlichen Höreindruck wird die Verwendung von Kopfhörern empfohlen.
Der Atmospheric Ray Tracing (ART) Algorithmus berücksichtigt die Advektion und Brechung des Schalls, die vom Wind und der Inhomogenität in der Atmosphäre verursacht werden. Er findet die gekrümmten Ausbreitungspfade, die das Flugzeug (Quelle) und den Hörer (Empfänger) - wie im Video dargestellt - verbinden. Auf diesen Pfaden basierend werden dann akustische Effekte wie Luftabsorption, geometrische Streuung und Doppler Effekt modelliert und auf das Audio Signal angewandt.
Auralisierung von psychoakustisch optimierten Flugzeugen
Dieses Video zeigt, wie Virtuelle Akustik (VA) verwendet werden kann, um die Geräuschemissionen eines Flugzeugs auf dem aktuellen Stand der Technik ("Reference") mit einem psychoakustisch optimierten Flugzeugentwurf ("Engine over Wing") zu vergleichen.
Das von Flugzeugen abgestrahlte Schallfeld besteht aus mehreren Beiträgen des Triebwerks und der turbulenten Umströmung des Flugzeugs. Dabei ermöglicht die Modellierung dieser akustischen Schallquellen hinsichtlich ihrer Entstehung und Abstrahlung in Kombination mit der Simulation ihrer Ausbreitung in der Atmosphäre die Auralisierung eines virtuellen Prototyps.
Auf der Suche nach leiseren Flugzeugkonzepten zur Reduktion der Lärmbelastung besteht ein Ansatz darin, das Triebwerk über den Tragflächen zu positionieren. Dies bewirkt die Reflexion des Geräuschs der Turbinenblätter (engl. fan noise) an der Oberfläche des Flügels in die obere Hemisphäre
Auralisierung von virtuellen Flugzeugen in realen Szenen
Dieses Video zeigt, wie Virtuelle Akustik (VA) verwendet werden kann, um die Geräuschemissionen eines Flugzeugs im Kontext einer bestehenden Situation zu erleben.
Das von Flugzeugen abgestrahlte Schallfeld wurde in einer Außenszene am Institutsgebäude eingebettet. Die reale Umgebung wurde zunächst mi einer 3D-Kamera und einem HOA-Mikrofon aufgezeichnet, dann in eine virtuelle Umgebung überführt. Der Hintergrundschall bleibt im Video konstant, läuft quasi durch, wobei das virtuelle Flugzeug und dessen Schallimmission hineinmontiert wurden.