Apolline Wasik e Léo Gammel di Ubisoft Paris Studio, team Just Dance, ci raccontano di più sullo sviluppo della funzione Controller fotocamera disponibile in versione beta in Just Dance 2025 Edition e che verrà lanciata ufficialmente quest'anno con l'edizione 2026 del gioco.

Da Kinect alla fotocamera: una nuova era del riconoscimento del movimento

Da anni la nostra community di Just Dance chiede con insistenza di offrire un'alternativa a Kinect nelle nostre edizioni future. Molti dei nostri fan più accaniti hanno infatti richiesto il riconoscimento dei movimenti dell'intero corpo per aumentare la precisione delle loro prestazioni. Alla fine del 2021, Xbox ha interrotto il supporto per Kinect: è stato allora che abbiamo iniziato a pensare a un nuovo sistema che utilizzasse le fotocamere degli smartphone. Dopo un anno e mezzo di ricerca e sviluppo a tempo pieno, la funzione Controller fotocamera è ora pronta per essere implementata nella sua versione 1 e utilizzata al meglio nelle future edizioni di Just Dance e in altro ancora.

Come funziona: il Deep Learning incontra la danza

Rispetto al vecchio sistema di controller fotocamera (basato principalmente su Kinect), la nuova funzione utilizza un modello esistente di Deep Learning*. Questo modello calcola i movimenti del giocatore sotto forma di scheletro tridimensionale, lo confronta con i movimenti del ballerino del gioco e produce un punteggio. Tutti i dati (misure di distanza, angoli, orientamenti e movimenti) tra i giocatori e il gioco passano attraverso il nostro algoritmo di confronto basato sul Machine Learning.  Grazie al nuovo controller di movimento**, è possibile ottenere un punteggio preciso su tutto il corpo, invece del solo tracciamento della mano destra.

Inoltre, questa nuova soluzione basata sulle fotocamere degli smartphone è indipendente da qualsiasi console e ci permette di rendere disponibile questa funzione contemporaneamente su PS5 e Xbox e, per la prima volta, anche su Switch & Switch 2.

Un algoritmo di Machine Learning unico

L'algoritmo di Machine Learning, alla base della funzione Controller fotocamera, è una creazione del team di produzione di Just Dance, composto da Data scientists, progettisti di livelli di punteggio e programmatori di gameplay. Si basa su sistemi di raccolta dati, etichettatura e riconoscimento del movimento. Come punto di partenza, è stato addestrato un algoritmo di apprendimento automatico con dati interni. Successivamente, questi dati sono stati verificati ed etichettati dal team dei progettisti di livelli di punteggio e la loro qualità è stata monitorata dal team Data science. L'algoritmo è stato poi implementato nel gioco grazie ai nostri programmatori di gameplay.

L'intero processo di sviluppo è iniziato alla fine del 2023. In totale sono stati registrati 9000 movimenti, di cui 6000 utilizzati per l'allenamento e 3000 per i test. Abbiamo raggiunto un tasso di successo dell'80% nei test dei dati, mentre il restante 20% è stato bilanciato e regolato manualmente dai progettisti di livelli di punteggio.

Nel dicembre 2023 abbiamo reso disponibile una fase beta alla nostra community, affinché avesse l'opportunità di condividere il proprio feedback qualitativo iniziale sulla funzione e sul punteggio. Nel complesso, il feedback è stato molto positivo e i giocatori hanno apprezzato molto la curva di apprendimento.

La funzione non ha eguali nel mercato attuale

Il nuovo Controller fotocamera integra in modo efficiente il riconoscimento dei movimenti nel gioco grazie a una soluzione basata sui dati, che consente di ottenere risultati precisi in termini di punteggio: questo è ciò che distingue il Controller fotocamera nel settore tecnologico.

Dal 2025 abbiamo a disposizione un numero significativamente maggiore di mappe compatibili con questa funzione, con punteggi più coerenti e stabili su diversi dispositivi. Quest'anno sono stati apportati numerosi miglioramenti tecnici per consentire una migliore reattività e affidabilità nel punteggio, con una valutazione più dettagliata delle coreografie. Infatti, grazie ai nostri nuovi strumenti personalizzati, ora abbiamo un maggiore controllo sulla soluzione, il che ci dà più libertà nel bilanciare il punteggio e offrire ai nostri giocatori la migliore esperienza Just Dance.

Cosa c'è in serbo per il Controller fotocamera

Crediamo che questa funzione proprietaria aggiungerà un grande valore al futuro della nostra IP, con un gameplay più compatibile in arrivo.  Siamo molto orgogliosi del feedback positivo della nostra community e terremo conto dei feedback futuri per migliorare ulteriormente.

*Un modello di Deep Learning è un tipo di sistema di intelligenza artificiale che utilizza più livelli di reti neurali per apprendere e prendere decisioni partendo da grandi quantità di dati.

**Tre diverse opzioni di punteggio in Just Dance 2026 Edition a seconda del dispositivo: controller Switch esclusivamente per i possessori di Switch e Switch 2, controller di movimento portatile e controller fotocamera tramite l'app Just Dance Controller disponibile per tutti i giocatori.

Gli speaker:

Apolline Wasik* è una Data Scientist specializzata in Computer Vision presso Ubisoft e ha lavorato alla ricerca e sviluppo e alla produzione della funzione Controller fotocamera in Just Dance 2026 Edition, concentrandosi sull'elaborazione algoritmica dei dati.*

Léo Gammel* è un progettista di livelli di punteggio presso Ubisoft e ha lavorato alla ricerca e sviluppo e alla produzione della funzione Controller fotocamera in Just Dance 2026 Edition, concentrandosi sull'affidabilità dei punteggi e la produzione di contenuti.*

In cosa consiste la funzione Controller fotocamera?

*La modalità Controller fotocamera è una funzione di Just Dance che consente ai giocatori di trasformare la fotocamera del proprio smartphone in uno strumento di riconoscimento dei movimenti di tutto il corpo, e di raggiungere livelli di precisione più elevati mentre ballano. Come funziona? La fotocamera dello smartphone rileva i movimenti del giocatore, che vengono poi confrontati con la coreografia del ballerino sullo schermo: più i movimenti del giocatore corrispondono a quelli del ballerino, più alto è il punteggio.  Questa funzione è disponibile solo in modalità giocatore singolo su Just Dance 2025 Controller. Dopo essere stata testata in versione beta per Just Dance 2025 Edition, la funzione Controller fotocamera è ora ufficialmente disponibile in Just Dance 2026 Edition e i giocatori possono ora godersi l'esperienza Just Dance a mani libere. *