Die Forschungsgruppe mimig der HTWD schafft Erfahrungen, die alle Sinne ansprechen. In Kooperation mit DJ Eskei83 präsentierte sie ihre Arbeit einer größeren Öffentlichkeit

Das Konzertpublikum in der Berliner Kulturbrauerei war begeistert, als der bekannte DJ Eskei83 dort Anfang September nicht nur seine Musik auflegte, sondern mithilfe modernster Technologien eine ganz besondere immersive Performance präsentierte. Eine Kombination aus Musik mit ihren vibrierenden Bässen, 360-Grad-Projektionen und Duftstoffen bescherte dem Publikum ein einzigartiges multisensorischen Erlebnis. Ermöglicht wurde das außergewöhnliche Event durch die kreative Zusammenarbeit des Künstlers mit Felix Mühlberg und Jimmy Orawetz aus der Forschungsgruppe mimig – Multimodal Immersion and Interaction Group an der HTW Dresden.

Die Technologie für die neuartige Show entwickelten die beiden Medieninformatiker zuerst im kleinen Rahmen im Labor der HTWD, um sie dann auf die große Bühne zu bringen. Bei dem Labor handelt es sich um den Mehrsinnlichen Interaktionsraum (MIR), einem vier mal vier Meter großen Raum, in dem virtuelle Umgebungen oder mit spezieller Technik aufgenommene Realszenen immersiv ausgespielt werden können. Dabei kommen neben drei Leinwänden für eine 270° Umgebungsprojektion mit Ultrakurzdistanz-Beamern sowie einem 3D-Audio-System auch eine Vibrationsplatte, selbst entwickelte taktile Displays und Duftverteiler zum Einsatz.

Nicht nur das Konzertevent war außergewöhnlich, auch die Kontaktaufnahme mit dem Künstler. „Wir kannten den Dresdner DJ Eskei83 von seinen Shows“, berichtet Felix Mühlberg. „Als ich auf Instagram von seiner Idee eines 360°-Setups las, dachte ich sofort, das passt zu unseren Forschungen.“ Also schrieb er dem DJ eine Nachricht, der war interessiert und so begann die erfolgreiche Zusammenarbeit. „Mit der Show in Berlin konnten wir unsere Forschung erstmals einem breiten Publikum zugänglich machen“, freut sich Mühlberg über das Ergebnis.

Durch Technologien alle Sinne ansprechen

„Das Projekt hat gezeigt, dass es mit einer Verbindung von Kunst und Wissenschaft gelingt, völlig neue Erlebniswelten zu erschaffen“, sagt der Leiter der Forschungsgruppe mimig, Professor Georg Freitag. „Unser Ziel ist es, immersive Erfahrungen zu ermöglichen, die alle Sinne ansprechen und den Nutzerinnen und Nutzern das Gefühl geben, vollständig in eine erweiterte Realität einzutauchen – und das nicht nur bei einem Club-Konzert.“

Die Medieninformatiker von mimig untersuchen, wie verschiedene Sinneseindrücke kombiniert werden können, um lebensechte und emotionale Erlebnisse zu schaffen. Dafür entwickeln sie Technologien, die nicht nur visuelle und auditive, sondern auch haptische und olfaktorische Reize einbeziehen. „In unserem Mehrsinnlichen Interaktionsraum sind wir in der Lage, unterschiedliche Raumatmosphären als Datensatz aufzunehmen und exakt zu reproduzieren“, so Georg Freitag. „In der Praxis kann dies beispielsweise im Trainingsbereich für realistische Simulationen genutzt werden oder um Freizeitumgebungen zur Entspannung zu schaffen.“

Merhsinnlicher Interaktionsraum schafft realistische Umgebungen

Das Besondere dieser mehrsinnlichen Erlebnisse: Alle Personen im Raum können gemeinsam in die virtuelle Atmosphäre eintauchen und dabei ganz normal kommunizieren und agieren. Schon deshalb gehen die immersiven Welten von mimig weit über das hinaus, was mit einer VR-Brille möglich ist. „Mit der Brille bewegen wir uns in einer Virtual Reality, die auf 360-Grad-Videos oder interaktiver 3-D-Simulation basiert“, erklärt der Projektleiter. „Im MIR kombinieren wir unterschiedlichste Medienformen und Technologien wie 3-D-Modellierung, Belüftungssteuerung oder KI-gestützte Inhaltserstellung. Und wir suchen nach neuen Methoden, die es ermöglichen, in Echtzeit auf Interaktionen der Nutzenden zu reagieren.“

Erprobt wurde die Wirkung des Raumes unter anderem bei der Ausbildung von Sanitätskräften. Sie übten dort den Einsatz in einem – realitätsnah simulierten – vollbesetzen Sportstadion, der im Ernstfall vor dröhnender Geräuschkulisse und umgeben von Schaulustigen erfolgen muss. Sound und Videos basierten auf Aufnahmen bei einem Heimspiel von HC Elbflorenz.

Anwendungen von der Industrie bis in den Freizeitbereich

Anwendungsmöglichkeiten für ihre Entwicklungen sieht die Forschungsgruppe ebenso in der Industrie, der Medizin und natürlich im Freizeit- und Kreativbereich. Hat sich doch das Projekt mit DJ Eskei83 als gute Gelegenheit erwiesen, die Arbeit von mimig einer größeren Öffentlichkeit zu präsentieren. Eine Wiederholung ist geplant; auch ist Dynamo Dresden als Partner im Gespräch.