Apolline Wasik & Léo Gammel vom Just Dance-Team bei Ubisoft Paris Studio erzählen dir mehr über die Entwicklung der Kamera-Controller-Funktion, die bereits in der Just Dance 2025 Edition in einer Betaversion verfügbar war und dieses Jahr mit der 2026 Edition des Spiels offiziell eingeführt wird.

Von Kinect zur Kamera: Eine neue Ära der Bewegungserkennung

Seit Jahren besteht in unserer Just Dance-Community eine große Nachfrage nach einer Kinect-Alternative für unsere zukünftigen Editionen. Tatsächlich wünschten sich viele unserer treuen Fans eine Ganzkörper-Bewegungserkennung, um die Genauigkeit ihrer Performance zu verbessern. Ende 2021 stellte Xbox die Unterstützung für Kinect ein – damals begannen wir, über ein neues System mit Smartphone-Kameras nachzudenken. Nach anderthalb Jahren intensiver Forschung und Entwicklung ist die Kamera-Controller-Funktion nun so weit, dass sie den Namen „Version 1“ verdient und in zukünftigen Just Dance-Ausgaben und weiteren Spielen voll genutzt werden kann.

So funktioniert es: Deep Learning trifft auf Tanz

Im Vergleich zum alten Kamera-Bewertungssystem (das hauptsächlich auf Kinect basierte) verwendet der neue Kamera-Controller ein bestehendes Deep-Learning-Modell*. Dieses Modell versucht, die Bewegungen der Spieler in Form eines dreidimensionalen Skeletts abzuschätzen, um sie mit den Bewegungen des Coaches zu vergleichen und eine Punktzahl zu errechnen. Alle Daten (Entfernung, Winkel, Ausrichtung und Bewegungsmessung) zwischen den Spielern und dem Spiel durchlaufen unseren Vergleichsalgorithmus, der auf maschinellem Lernen basiert.  Und das ermöglicht dank der neuen Controller App** eine genaue Ganzkörperbewertung, statt nur die rechte Hand zu verfolgen.

Darüber hinaus ist die neue Lösung auf Basis von Smartphone-Kameras unabhängig von jeder Konsole und ermöglicht es uns, diese Funktion gleichzeitig auf PS5 und Xbox sowie erstmals auch auf Switch & Switch 2 zu veröffentlichen.

Ein einzigartiger Algorithmus für maschinelles Lernen

Der Algorithmus für maschinelles Lernen, der das Herzstück der Kamera-Controller-Funktion bildet, ist eine Entwicklung des Just Dance-Produktionsteams, das sich aus Datenwissenschaftlern, Score-Level-Designern und Gameplay-Programmierern zusammensetzt. Er basiert auf Datenerfassungs-, Kennzeichnungs- und Bewegungserkennungssystemen. Als Ausgangspunkt wurde ein Algorithmus für maschinelles Lernen mit internen Daten trainiert. Anschließend wurden diese Daten vom Score-Level-Design-Team überprüft und gekennzeichnet, wobei die Qualität der Daten vom Data-Science-Team überwacht wurde. Dieser Algorithmus für maschinelles Lernen konnte dann dank unserer Gameplay-Programmierer ins Spiel übertragen werden.

Der gesamte Entwicklungsprozess begann Ende 2023. Insgesamt wurden 9.000 Bewegungen aufgezeichnet, von denen 6.000 für das Training und 3.000 für Tests verwendet wurden. Bei den Datentests haben wir eine Erfolgsquote von 80 % erzielt, während die restlichen 20 % manuell von den Score-Level-Designern bearbeitet und angeglichen wurden.

Im Dezember 2023 haben wir eine Beta-Phase für unsere Community veröffentlicht, damit diese die Möglichkeit hat, ihr erstes qualitatives Feedback zu der Funktion und ihrem Gefühl bei der Punktewertung abzugeben. Insgesamt war das Feedback sehr positiv, wobei auch die Lernkurve des Algorithmus von den Spielern sehr geschätzt wurde.

Die Funktion ist auf dem heutigen Markt unübertroffen

Der neue Kamera-Controller integriert dank einer datengesteuerten Lösung die Bewegungserkennung effizient in das Spiel und sorgt so für genaue Bewertungsergebnisse – das ist es, was den Kamera-Controller in der Tech-Branche auszeichnet.

Seit 2025 haben wir eine deutlich größere Anzahl von Karten, die mit der Funktion kompatibel sind, mit einer konsistenteren und stabileren Bewertung auf verschiedenen Geräten. In diesem Jahr wurden viele technische Verbesserungen vorgenommen, um eine höhere Reaktionsgeschwindigkeit und Zuverlässigkeit zu erreichen und eine detailliertere Bewertung der Choreografie zu ermöglichen. Dank unserer neuen, maßgeschneiderten Tools haben wir nun mehr Kontrolle über diese Lösung, was uns mehr Freiheiten beim Feintuning der Punktewertung gibt, um unseren Spielern das bestmögliche Just Dance-Erlebnis zu bieten.

Was kommt als Nächstes für die Kamera-Punktewertung

Wir glauben, dass diese proprietäre Bewertungsfunktion einen großen Mehrwert für die Zukunft unseres Titels bietet, und weitere kompatible Gameplay-Elemente sind bereits in Arbeit.  Wir sind sehr stolz auf das positive Feedback unserer Community und werden auch in Zukunft Feedback sammeln, um diese Funktion noch weiter zu verbessern.

*Ein Deep-Learning-Modell ist ein System für künstliche Intelligenz, das mehrere Schichten neuronaler Netze nutzt, um aus großen Datenmengen zu lernen und Entscheidungen zu treffen.

**Just Dance 2026 Edition bietet je nach Gerät drei verschiedene Wertungsoptionen: Switch-Controller (exklusiv für Besitzer von Switch oder Switch 2), Handheld-Motion-Controller & Kamera-Controller über die Just Dance Controller-App für alle Spieler.

Lerne die Referenten kennen:

Apolline Wasik* ist Datenwissenschaftlerin mit Spezialisierung auf Computer Vision bei Ubisoft und hat an der Forschung und Entwicklung sowie der Produktion der Kamera-Controller-Funktion in Just Dance 2026 Edition mitgearbeitet, wobei ihr Fokus auf der algorithmischen Datenverarbeitung lag.*

Léo Gammel* ist Score Level Designer bei Ubisoft und hat an der Forschung, Entwicklung und Produktion der Kamera-Controller-Funktion in Just Dance 2026 Edition mitgearbeitet, wobei er sich auf die Zuverlässigkeit der Punktvergabe und die Produktion von Inhalten konzentrierte.*

Was ist die Kamera-Controller-Funktion?

*Der Kamera-Controller-Modus ist eine Funktion in Just Dance, mit der Spieler die Kamera ihres Handys in ein Tool zur Ganzkörper-Bewegungserkennung verwandeln können, um zu versuchen, beim Tanzen ein höheres Maß an Präzision zu erreichen. Wie funktioniert das? Die Kamera des Handys erkennt die Bewegungen des Spielers, die dann mit der Choreografie des Coaches auf dem Bildschirm verglichen werden: Je besser die Bewegungen des Spielers mit denen des Coaches übereinstimmen, desto höher die Punktzahl.  Diese Funktion ist nur für Einzelspieler verfügbar und kann mit der App Just Dance 2025 Controller genutzt werden. Nach der Beta-Testphase in Just Dance 2025 Edition wird die Kamera-Controller-Funktion nun offiziell in Just Dance 2026 Edition eingeführt, sodass Spieler nun ein freihändiges Just Dance-Erlebnis genießen können. *