Wenn Gemälde erklingen

Staunend laufen die Besucherinnen durch die Ausstellung. Von links hören sie das leise Zirpen der Grillen und das Plätschern eines Baches. Und während sie weitergehen, hören sie vor sich eine ganze Schar Spatzen, die munter zwitschern. Die Gemälde zeigen Sommerwiesen, Felder, Gärten – eine typisch ländliche Gegend, wie sie einst der Maler Camille Pissarro erlebt haben mag. Die Geräusche dieser Landschaft werden in Kopfhörer, gefüllt mit modernster Technik, eingespielt. Mit diesen Kopfhörern und einem Smartphone gelangen die Besucherinnen in einen virtuellen Klangraum, der sich ihren Bewegungen zentimetergenau anpasst und die Kunstwerke zum Leben erweckt.

Der Berliner Künstler Moritz Fehr hat dieses Soundkunstwerk für die bis Januar 2022 gezeigte Ausstellung «Camille Pissarro. Das Atelier der Moderne» am Kunstmuseum Basel geschaffen. Für dessen technische Umsetzung haben Thomas Resch und Hannes Barfuss von der Hochschule für Musik FHNW gemeinsam mit der iart AG sowie Idee & Klang Audio Design in einem von Innosuisse geförderten Projekt das «Immersive Audio-Guiding-System» entwickelt. Resch ist fasziniert davon, wie sich die visuellen Eindrücke einer Kunstausstellung nun in Klangwelten übertragen lassen: «Akustische Stimulation begleitet die ansonsten stille Kunst schon seit langer Zeit. Mit dem Einbeziehen des Hörsinnes in das Gesamterlebnis sind in einer Ausstellung ganz andere Eindrücke und Erfahrungen möglich.»

Klänge wie im Atelier

In einem der Ausstellungsräume hört man beispielsweise Zitate aus Briefen von Camille Pissarro. Die Stimme des Sprechers wird dabei in einem Klangraum platziert, der aus Feldaufnahmen geschaffen wurde, die Moritz Fehr im ehemaligen Atelier Pissarros in Eragny-sur-Epte und in dessen Umgebung machte. So wird ein realer Raum akustisch ins Kunstmuseum versetzt. Es entsteht eine realistische 3D-Klangwelt, in der sich die Besucher*innen frei bewegen können. Weil die Technologie auch kleine Kopfbewegungen und die Architektur des Raumes miteinbezieht, scheinen die Töne nicht mehr einfach aus dem Kopfhörer zu kommen: Alles klingt, als ob es tatsächlich im Raum wäre.

Die technische Grundlage dafür bildet die sogenannte Binaural-Synthese. Das Hirn errechnet im Alltag aus den winzigen Unterschieden zwischen den Signalen, die das linke und rechte Ohr jeweils empfangen, aus welcher Richtung ein Ton kommt. Vereinfacht gesagt: Kommt ein Geräusch beispielsweise von links, hört ihn das linke Ohr entsprechend ein kleines bisschen früher und lauter. Mithilfe dieser Daten und der Filtereffekte verursacht durch Kopf, Rumpf und Ohrmuschel ermittelt das Gehirn, wo sich die Geräuschquelle befindet. Diesen Prozess kann man sich beim Design von Audio nun zunutze machen und auf diese Weise virtuelle Klangräume kreieren.

Präzise Positionsbestimmung

Die Forschenden der Hochschule für Musik FHNW hatten aus früheren Projekten bereits Erfahrungen mit dieser Technik. Sie in komplexen Innenräumen, wie in einem Museum, umzusetzen, stellte das Team aber vor ganz neue Herausforderungen. «Draussen haben wir die Möglichkeit, mit dem Global Navigation Satellite System GNSS die Position der Teilnehmenden genauestens zu bestimmen. In einem Gebäude funktioniert das nicht», erklärt Resch.

Um die Position der Besucher*innen auch drinnen erfassen zu können, hat iart eigens ein neues Trackingsystem entwickelt. Sender im Ausstellungsraum senden Signale, die vom Kopfhörer empfangen und verarbeitet werden. Ähnlich dem GNSS draussen, lässt sich mit diesen Daten die Position präzise bestimmen. Mit zusätzlichen Sensoren für die Kopflage ergeben sich alle wichtigen Faktoren, die einen Einfluss auf das Hörerlebnis haben.

Geräusche füllen den Raum

Auch der reale Ausstellungsraum und seine Akustik wird bei der Berechnung der Geräusche mit einbezogen. «In der echten Welt wird jedes akustische Signal von verschiedensten Oberflächen in einem Raum mehrfach zurückgeworfen, all diese Reflexionen zusammen erzeugen das räumliche Klangerlebnis», erklärt Resch.

Auch diese Effekte wollten die Forschenden in der Audio-Simulation nachbilden. Dadurch erhöht sich der Immersionseffekt, also das Eintauchen der Besucherinnen in die virtuellen Klangwelten, noch einmal beachtlich. «Die Geräusche werden nicht im Kopf, sondern tatsächlich – wie in der Realität – von ausserhalb kommend wahrgenommen», so Resch.

Dabei musste sich das Team aber auf die ersten Reflexionen beschränken. Denn die Software, über die der Audio Guide läuft, sollte auf einem Smartphone funktionieren, mit dem die Besucherinnen die Ausstellung erkunden. Zwar bieten moderne Smartphones ausreichend Rechenleistung für etwas komplexere Simulationen, diese würden aber stark die Akkulaufzeit der Geräte verkürzen. Die für den Museumsbesuch mit 3D-Audio benötigte App wurde in Zusammenarbeit mit dem Kunstmuseum Basel für die Pissarro-Ausstellung erstmals eingesetzt. Rund 30 der speziell entwickelten Kopfhörer wurden dafür hergestellt.

Kleinste Anpassungen für grosse Erlebnisse

«Bis zur Ausstellung haben wir sehr viel Zeit mit Feinjustierungen vor Ort verbracht, damit auch alles reibungslos verläuft», erinnert sich Resch. Entstanden ist dadurch ein immersives Erlebnis, das die visuellen Eindrücke aus der Ausstellung um eine hörbare Ebene erweitert. In Zukunft wird das System für weitere Museumsbesucher*innen erlebbar, denn es haben bereits mehrere andere Museen Interesse an der Technologie bekundet.