Zielgruppe

Da es sich in dieser Arbeit um ein offen gehaltenes Forschungsprojekt handelt, ist keine bestimmte Zielgruppe definiert.

Auswahl

Da in diesem Experiment die drei Emotionen fröhlich, motiviert und entspannt angesprochen werden sollen, müssen die Musikstücke entsprechend gewählt werden. Dabei besteht die Schwierigkeit darin, Musikstücke auszuwählen, die zwar die angestrebte Emotion möglichst stark vertonen, jedoch möglichst keine der anderen Emotionen auslösen. Dabei ist vor allem die Trennung zwischen motivierenden und fröhlichen Stücken eine Herausforderung, da beide meist ein höheres Tempo haben und tendenziell Dur-Stücke sind. (Vgl. Fritz, T. et al.: Universal Recognition of Three Basic Emotions in Music, 2009)

Wesentliche Unterscheidungsmerkmale beinhalten signifikantere Tempiwechsel und einen Spannungsaufbau bei motivierenden Musikstücken, während fröhliche Lieder ein vergleichsweise durchgängiges Tempo beibehalten und keine Spannungskurve haben. Entspannte Musik hebt sich durch ein ruhigeres Tempo klar ab.

Als weitere Kriterien für die Wahl der Musikstücke haben wir eine minimale Gesamtdauer von 2 Minuten und ein maximalen Auftakt von 15 Sekunden festgelegt. Dadurch soll sichergestellt werden, dass genug Zeit besteht, den User in die entsprechende Welt eintauchen zu lassen. Die Auftaktbeschränkung hat den Hintergrund, die Zeit der Anwendung maximal ausnutzen und dem User eine möglichst angenehme und unkomplizierte Erfahrung zu gewährleisten.

Entsprechend der definierten Parameter wird für dieses Projekt das Lied „Beyond“ von Patrick Patrikios als Repräsentant für die Stimmung „Motivation“ verwendet. Für Freude wird „Bug Catching“ von Emily A. Sprague und für Ruhe der Song „Drifting at 432 Hz“ von den Unicorn Heads eingebaut. Alle Lieder haben einen elektronischen Stil und sind lizenzfrei. 

Mit Auswahl der Musik ist die auditive Komponente für dieses Forschungsprojekt abgeschlossen. Im nächsten Schritt liegt der Fokus auf der visuellen Komponente.

Visuelle Umsetzung

Moodboard

Im Moodboard ist die erste Anmutung unseres Themas und unseres Projektes visualisiert, mit dem Ziel, Inspirationen sowohl in der Erstellung der visuellen Erscheinung als auch der technischen Hardware zu finden. Die Erstellung dieser visuellen Ansammlung half uns nicht nur, ein gleiches Bild und Gefühl für die geplante Anwendung zu entwickeln, sondern auch, im Laufe der Recherche mögliche und schon vorhandene VR Projekte zu analysieren. Auch wenn unser Projekt keine Ähnlichkeiten zu unserem Moodboard hat, hat dieses doch ihren Sinn erfüllt. Das Moodboard inspirierte uns bei der weiteren Entwicklung konkreter Szenarien und half uns damit, mögliche Gestaltungsstille einzubauen, aber zugleich auch den eigenen Stil in das Projekt mit einfließen zu lassen.

Welten-Konzept

Unser Welten-Konzept hat das Ziel, auf auditiver und visueller Ebene eine Emotion zu verstärken oder zu stimulieren. Der*die Benutzer*in soll sich in eine Welt fallen lassen können, welche ihn*sie unterstützt, sich zu motivieren, zu freuen oder einfach zur Ruhe kommen lässt. Verbunden mit unserer Forschungsfrage wurden drei Welten entwickelt, welche auf ihre eigene Art und Weise eine Emotion darstellen sollen. Die Welten lauten „Freude“ „Ruhe“ und „Motivation“. Alle drei Welten haben mit ihrer eigenen Audio, Umgebung und Animation einen ganz eigenen Stil und unterscheiden sich stark voneinander. Um nicht zu verschieden zu arbeiten, wurden Grundentscheidungen in der technischen und visuellen Entwicklung getroffen. Der Player in den Welten ist sehr statisch, dies bedeutet, dass keine bis nur eine sehr geringe eigene Bewegung im Raum möglich ist, es kann allerdings vorkommen, dass die Umgebung den Player passiv mit in Bewegung setzt. Es soll dem Spieler mehr eine Show geboten werden als eine Welt, die er erkunden kann. Des weiteren müssen verwirrende und schnelle Bewegungen des virtuellen Players mit Vorsicht behandelt werden, da diese meist eine irritierende und verstärkte Wirkung auf den*die Benutzer*in einer VR-Brille haben kann.

Im Folgenden wird das Konzept der einzelnen Welten vorgestellt und wie diese umgesetzt werden sollten.

Freude: Es soll eine Welt ohne Sorgen dargestellt werden, worin fliegende und aufleuchtende Kugeln eine aktive aber trotzdem behutsame Wirkung erzielen. Mit hin-und-her pendelnden Kugeln und einem Farbverlauf im Hintergrund soll diese Welt das Gefühl der Freude erzeugen.

Ruhe: Die Umgebung in dieser Welt ist dunkel, mit einem schwarz-blauen Verlauf im Hintergrund. Mit sehr langsam bewegenden Formen soll eine beruhigende Wirkung erzielt werden. Mit dem gezielten Arbeiten von abstrakten Formen und Lichteffekten soll nicht nur das Gefühl Ruhe, sondern auch ein Gefühl der Weite und Unendlichkeit entstehen.

Motivation: Mit einem ruhigen Start auf einer Plattform entwickelt sich im Laufe der Musik auch die visuelle Stärke. Kugeln welche in einer strudelförmigen Bewegung nicht nur sich, sondern auch den Spieler selbst in die Höhe schweben lassen, sind nur ein paar der visuellen Reize, welche das Ziel haben, den Benutzer zu motivieren und ein erhebendes Gefühl zu erzeugen.

Alle der erstellten Welten sind anhand ihres Konzeptes und der dazugehörigen Scribbles entwickelt und nur mit ein paar kleinen Änderungen auch so finalisiert worden.

Animation

Ein Hauptbestandteil, um eine Emotion zu erzeugen, ist die visuelle und vor allem die sich bewegende visuelle Ebene. Aus diesem Grund wurde in keine der drei Szenarien auf den Einsatz von Animation verzichtet. Ob das Animieren einzelner Objekte, Objektgruppen oder des ganzen Environments. Um eine Verbindung vom Visuellen zum Auditiven zu schlagen, war unser erster Animationstyp das Animieren nach der Musik. Hier wurde die Musik über Unity ausgelesen und im Code für die Animation weiterverarbeitet, genaueres wird im Kapitel Unity VR beleuchtet. Damit hatten wir die Möglichkeit, die Objekte passend zur Musik zu bewegen.

Der zweite Animationstyp war die eigenständige, nicht dynamische Animation. Hier war es zum einen möglich, spezifischere und individuellere Animationen anzufertigen. Diese sind vielleicht nicht immer voll im Takt, aber unterstützen stark die Aussage des geplanten Gefühls. Durch die Verbindung beider Animationstypen, erzeugen die Szenarien eine ganz eigene Welt, welche sich nicht unbedingt anfühlt, als sei sie von der Musik gesteuert, aber eine starke Verbindung zu dieser herstellt.

Unity und VR

Game Engine Unity

Die Entscheidung, das Projekt mit der Game Engine Unity umzusetzen, wurde frühzeitig getroffen. Neben dem Game Development, bietet Unity viele Möglichkeiten, multimediale und interaktive 3D Welten abzubilden. Auch das Menü und die Navigation durch das Programm lässt sich dadurch bewerkstelligen. Der Input Manager ist dabei das direkte Bindeglied für das Erfassen der Interaktion mit dem Controller. Wir verwenden für die Forschung die Oculus Rift und Unity bietet mit dem XR Plug-in auf Basis von OpenXR eine verlässliche Möglichkeit, das Programm VR-Ready zu gestalten.

XR-Plugin für VR

Damit Unity für die Entwicklung von VR-Anwendungen verwendet werden kann, muss zusätzlich mithilfe des Package Managers das XR Plug-in importiert werden. Dieses bietet Komponenten, die die Kommunikation zwischen Unity und dem VR Headset ermöglicht. Dazu gehört auch die Optimierung des Renderings vom visuellen Output. Für eine bessere Qualität gibt es die Multi-Pass-Einstellung, die auf Kosten von Rechenleistung für jedes Auge ein extra Bild erstellt. Bei VR ist die Kamera direkt an der Position der Person geknüpft und die Bewegungsdaten werden in Echtzeit verwertet.

Interaktion in VR

Für die Oculus Rift sind die Touch-Controller für jede Hand ein wichtiger Bestandteil für die VR-Erfahrung. Die Interaktion in VR kann jedoch nicht mit dem klassischen Input von Keyboard, Maus und Gamepad verglichen werden. Die Erfassung im C#-Code mit GetButtonDown und der Gleichen, ist dadurch keine Lösung. Unity bietet darüber hinaus den Input Manager, der das Verarbeiten von User Inputs ermöglicht. Mit dieser Funktionalität lassen sich eigene Events definieren, die durch ein oder mehrere zugewiesene Interaktionen ausgelöst werden. Diese Events greifen wir im Code ab und führen die passende Aktion (Sprache C#) aus. Für VR können wir dieses Tool heranziehen, um die speziellen Input-Daten der Oculus Rift zu verarbeiten.

Die Touch-Controller von Oculus Rift sind mit Buttons, einem Joystick, dem Trigger und dem Grip ausgestattet. Außerdem werden die Bewegungsdaten in Abhängigkeit zum Headset erfasst. Der Input ist dadurch vielschichtig und ist oft nicht mit einer 0 oder 1 abbildbar. Selbst die Buttons reagieren schon auf das bloße Berühren (kein Drücken) und können dadurch Aktionen auslösen. Damit diese Komplexität mit weniger Aufwand bewältigbar wird, gibt es zusätzlich das XR Interaction Toolkit. In unserem Fall übernimmt dieses Plug-in das Erfassen der Hände und das Ray-Casting für die Bedienung von UI Elementen. Auch für die Einstellungen im Input Manager werden Vorlagen bereitgestellt, die wichtige Voreinstellungen schon beinhalten. Die speziellen Interaktionen unseres Projekts lassen sich entsprechend ergänzen und sind dadurch übersichtlich zusammen mit allen anderen Events im Input Manager dargestellt. Nachdem der Betrachter als Game Object in Unity einmal mit allen Komponenten, Children, Einstellungen und Scripten angelegt wurde, kann dieser als Prefab in allen Szenen wiederverwendet werden.

Audio Synchronisation

Bestimmte Animationen innerhalb der Welten sollen synchron mit der Musik ablaufen. Das Ganze manuell zu animieren, würden den Aufwand nicht bewältigbar machen und sogar die Qualität negativ beeinflussen. Deswegen übernimmt dieser Teil für uns ein selbst programmiertes Script.

In Kürze lässt sich die Programmierung wie folgt zusammenfassen. Als Erstes wird die Audio-Datei abgegriffen und dem C#-Code bereitgestellt. Das geschieht mit dem Musik-Player, der für das Abspielen der Musik innerhalb der Welt verantwortlich ist. Für jede Iteration in Unity werden die Samples von der momentanen Stelle des Musikstücks in eine Variable gespeichert. Mit diesen Samples kann die Amplitude berechnet werden. Zusätzlich werden auch die Samples in acht Frequenzbändern entsprechend zugeordnet. Dadurch kann sich die Animation potenziell nur auf bestimmte Höhen oder Tiefen in der Musik fokussieren. Nachdem diese essenzielle Berechnung stattgefunden hat, wird daraus die Änderung berechnet. Die Änderung wird durch Parameter individualisierbar gemacht und ist dadurch später auf alle Gegebenheiten anpassbar.

Die Änderung hängt jedoch immer noch von der Leistungsfähigkeit des PCs ab. Je mehr Unity-Iterationen ein PC pro Sekunde schafft, desto extremer die Änderung. Jedoch soll die Animation über alle Geräte hinweg immer gleich aussehen. Deswegen haben wir zusätzlich die Variable Time.deltaTime als Faktor miteinbezogen. Das ist die vergangene Zeit seit der letzten Iteration. Für leistungsschwache PCs ist dieser Wert also höher und die Änderung wird dadurch immer gleich.

In der 3D-Welt existiert dieses Script als Komponente eines unsichtbaren Game Object (Audio Manager genannt), das einfach in jede Welt als Prefab integriert werden kann. Die Parameter für die Berechnung lassen sich direkt in diesem Audio Manager einstellen und die Kalibrierung für die unterschiedlichen Musikstücke pro Welt wird dadurch ohne Coding möglich.

Finale Umsetzung

Programmaufbau

Für unsere Forschung sollte das Programm so strukturiert werden, dass man von einem Hauptmenü einfach auf alle Szenarios zu den jeweiligen Emotionen zugreifen kann. Da wir uns in der Umsetzung auf die Emotionen “Freude”, “Motivation” und “Ruhe” fokussiert haben, sollten entsprechend drei Auswahlmöglichkeiten im Hauptmenü zur Verfügung stehen. Jedoch ist es ein wichtiger Bestandteil unserer Forschung, eventuelle emotionale Veränderungen unverfälscht zu erfahren und somit war es wichtig, die in der Umsetzung angedachte Stimmung nicht bereits im Hauptmenü preiszugeben. Entsprechend besteht hier nur die Wahl zwischen Szenario 1 bis 3.

In den einzelnen Szenarios ist es lediglich möglich, wieder in das Hauptmenü zurückzukommen. Ein Wechseln zu einem anderen Szenario würde die Forschungsergebnisse verfälschen, da, so zumindest theoretisch, jedes Szenario andere Emotionen auslöst.

Der Programmaufbau richtet sich also nach unseren Anforderungen für die Tests mit Testpersonen. Eine Testperson soll hier, nachdem es den ersten Teil eines Fragebogens ausgefüllt hat, ein Szenario wählen und dieses auf sich wirken lassen. Nach Ende des Szenarios wird der zweite Teil des Fragebogens ausgefüllt. Konkreter wird hierauf im letzten Kapitel der Dokumentation eingegangen.

Funktionen

Die funktionalen Anforderungen an das Programm waren relativ gering. Hier lag neben einer simplen Navigation, die lediglich die grundlegendsten Funktionen erfüllen musste, der Hauptfokus auf den Szenarios. Diese wurden als Show geplant, die man passiv mitverfolgt und eine Interaktion vonseiten der Testperson war nicht vorgesehen.

Entsprechend mussten hier zum einen lineare Animationen, die auf die konkrete Musik abgestimmt wurden, abgespielt werden, zum anderen sollten aber auch Elemente automatisch auf die Frequenzen reagieren. Näheres zu der technischen Umsetzung wurde bereits in den vorherigen Kapiteln erläutert.

Die Show in dem jeweiligen Szenario sollte von Anfang bis Ende verfolgt werden und mit Abschluss des Musiktitels gelangt man automatisch zurück ins Hauptmenü. Sollte es aus irgendwelchen Gründen notwendig sein, das Szenario frühzeitig abzubrechen, so ist dennoch jederzeit ein Menü aufrufbar, das einem ebenjene Funktion bietet.

UI

Die UI der Anwendung wurde äußerst simpel gehalten, da sie in der Anwendung nur eine sehr untergeordnete Rolle spielt und lediglich dazu dient, der Testperson eine Oberfläche zu bieten, um ein Szenario zu wählen und wieder in das Hauptmenü zu gelangen.

Da die Anwendung darauf abzielt, mit den Szenarios bestimmte Emotionen anzusprechen, sollte das Design der UI möglichst neutral gehalten werden, um so zu verhindern, dass die Benutzeroberfläche bereits Emotionen erweckt. Entsprechend wurde hier von Farben abgesehen und lediglich in schwarz-weiß gearbeitet. Die Schrift ist mit der Helvetica auch relativ neutral gehalten.

Die Bedienelemente schweben vor der Testperson und lassen sich durch eine Art virtuellen Laserpointer auswählen. Zielen die Pointer ins Leere, so erscheinen sie rot, zielen sie auf ein Bedienelement, so erscheinen sie weiß. In dem Fall lässt sich durch Knopfdruck auf dem Controller die Auswahl bestätigen.

Um keine störenden Elemente während eines Szenarios anzuzeigen, sind Menü und Pointer hier zunächst nicht sichtbar und können per Knopfdruck auf den Controllern aktiviert werden.

Zunächst war auch die Einstellung der Lautstärke geplant, doch haben wir entschieden, dass der Programmieraufwand sich nicht für diese Funktion lohnt, die einfach durch die Laut- und Leiser-Tasten am Computer bzw. VR-Headset übernommen werden kann.

Fazit

Bei den Tests ist aufgefallen, dass die Probanden sich viel in der Welt umgeschaut haben. Dadurch sind die Animationen teilweise nicht so angeschaut worden, wie erwartet. Außerdem müsste Monotonie in den Welten verhindert werden. Jede Animation dauert etwa 2 Minuten. In dieser Zeit muss genug passieren, damit der Zuschauer zum einen nicht gelangweilt wird und zum anderen nicht auf eine Aktion wartet, die nicht passiert. Dieses Gefühl hat manche Teilnehmer*innen gestresst. Bei Musikwechseln werden auch veränderte Aktionen in den Welten erwartet. Wenn diese nicht eintreten, ist der Proband verwirrt und hat Angst, etwas nicht mitzubekommen oder zu übersehen. 

Fröhlich und motiviert sind Emotionen die selten allein gestellt im Sprachgebrauch verwendet werden. Dadurch ist es möglich, dass die Emotionen vielleicht erkannt, aber verschieden benannt werden. Außerdem werden einige Emotionen nur in  Kombination mit anderen Gefühlen bemerkt und sind dadurch schwer identifizierbar. Auch wenn die Emotionen “Freude” und “Motivation” nicht konkret identifiziert werden konnten, so ließ sich dennoch eine Tendenz in die von uns geplante Richtung feststellen. In dem Szenario “Ruhe” ist es uns hingegen gelungen, bei den Probanden sowohl durch den Einsatz der Musik als auch durch die visuellen Komponenten das Gefühl von “Entspannung” zu erzeugen.

Prinzipiell bietet der Bereich viel Potenzial, jedoch müssten noch einige Anpassungen vorgenommen werden, um die Forschungsfrage, wie VR in Verbindung mit Audio Emotionen gezielt hervorrufen kann, zu beantworten. Animationen wie auch Musik müssen gezielter ausgewählt und die Menge der Probanden muss signifikant erhöht werden, um eine eindeutige Aussage treffen zu können.