Projekt Übersicht & Idee:

Im Rahmen des Moduls Interaction Design 2 entstand eine interaktive Installation, bei der ein Partikelsystem in Form eines Sternenfeldes über einen Beamer auf den Boden projiziert wird. Eine Kamera trackt die Bewegungen der Nutzerinnen und Nutzer, wodurch die Sterne auf deren Position reagieren, abgestoßen werden und einen dynamischen Trail hinter der Person erzeugen.

Technische Umsetzung:

Verwendete Hardware:

  • Laptop

  • Beamer

  • Kamera

Verwendete Software:

  • p5.js

  • Visual Studio

  • LLM als Hilfe

Tracking:

Das Tracking basiert auf einer klassischen Hintergrundsubtraktion. Dabei wird zunächst ein leeres Kamerabild als Referenz gespeichert. Betritt eine Person den Erfassungsbereich, werden die aktuellen Kamerabilder kontinuierlich mit diesem Hintergrundbild verglichen, um Veränderungen im Bild zu erkennen.
Die Hintergrundaufnahme erfolgt durch das Speichern eines einzelnen Kameraframes, wodurch keine aufwendige Berechnung mehrerer Bilder notwendig ist und die Verarbeitung schnell bleibt. Für jeden Bildpunkt wird die Farbabweichung zwischen dem aktuellen Bild und dem gespeicherten Hintergrund berechnet. Überschreitet diese Abweichung einen bestimmten Grenzwert, wird der Pixel als verändert erkannt und zur Ermittlung der Position der Person verwendet.

Partikelsystem:

Jeder Stern wird pro Frame aktualisiert und durch verschiedene Kräfte beeinflusst. Nähert sich eine Person dem Partikelsystem, werden die Sterne durch eine Verdrängungskraft weggedrückt, wodurch eine sichtbare Lücke entsteht. Gleichzeitig können sie durch vergangene Bewegungspunkte angezogen werden und der Bewegungsspur folgen. Nicht eingefangene Sterne kehren langsam zu ihrer Ausgangsposition zurück, wodurch sich das System nach einer Bewegung wieder gleichmäßig verteilt. Eine zusätzliche Zufallsbewegung sorgt für ein natürliches Schweben der Partikel. Die Bewegung basiert auf einer physikalischen Berechnung aus Beschleunigung, Geschwindigkeit und Position, wodurch weiche und kontrollierte Bewegungen entstehen.

Bewegungspfad:

Sobald eine Person erkannt wird, werden Bewegungspunkte entlang ihrer Spur erzeugt. Jeder Punkt speichert Informationen wie die Position, Bewegungsrichtung, den Erstellungszeitpunkt und bereits eingefangene Sterne. Neue Punkte entstehen nur, wenn ein bestimmter zeitlicher und räumlicher Abstand zum vorherigen Punkt erreicht wurde, wodurch eine gleichmäßige Bewegungsspur entsteht. Nach einer bestimmten Lebensdauer werden ältere Punkte wieder entfernt, sodass nur der aktuelle Bewegungsverlauf sichtbar bleibt.
Das Partikelsystem besteht aus vielen Sternen, die jeweils eine eigene Heimatposition, aktuelle Position, Geschwindigkeit, Größe, Zielpfad und zufällige Bewegung besitzen. Diese Eigenschaften ermöglichen die dynamische Reaktion der Sterne auf die Bewegungen der Personen.

Herausforderungen:

Das Tracking:

Das Tracking stellte eine große Herausforderung dar, da eine zuverlässige Erkennung der Interaktionen für die Echtzeitsteuerung des Partikelsystems notwendig war. Gelöst wurde dies durch eine klassische Background Subtraction (Hintergrundsubtraktion), bei der neue Kamerabilder mit einem zuvor gespeicherten Hintergrundbild verglichen werden. Dadurch können Bewegungen erkannt und als Eingabe für die interaktive Anwendung genutzt werden.

Der Aufbau:

Die Befestigung der Kamera an der Beamerhalterung stellte eine Herausforderung dar, da die vorhandene Halterung nicht direkt für die Kamera ausgelegt war und entsprechend angepasst werden musste.

Aufbau und Testing:

Das Projekt wird von der Treppe im Untergeschoss im Gebäude W der THU auf den Boden projeziert.

Die Bewegung wird durch die angebrachte Kamera getrackt.

    Fazit:

    Aus einem einfachen p5.js-Tutorial mit interaktiven Objekten entwickelte sich Schritt für Schritt das Konzept einer räumlichen Installation. Space im Raum verbindet Bewegung, Partikelsysteme und Echtzeitinteraktion zu einem immersiven Erlebnis, bei dem man Teil eines digitalen Universums wird.


    Erkenntnisse & Learnings:

    • Vertiefung unserer JavaScript-und p5.js-Kenntnisse

    • Entwicklung eines Echtzeit-Partikelsystems

    • Umsetzung eines funktionierenden Kamera-Trackings

    • Planung und Aufbau einer physischen Installation mit Beamer und Kamera

    • Erkenntnis, dass bereits einfache Interaktionen durch eine klare Gestaltung und flüssige Bewegungen ein immersives Nutzererlebnis schaffen