Ubisoft Paris 스튜디오의 __Apolline Wasik__과 __Léo Gammel__이 함께 모여 저스트 댄스 2025 에디션에서는 베타 버전으로, 2026 에디션에서는 공식적으로 도입되는 카메라 컨트롤러의 개발 과정에 대한 이야기를 나눕니다.

키넥트에서 카메라까지: 동작 인식의 새로운 시대

저스트 댄스 커뮤니티에서는 키넥트를 대체할 새로운 기능에 대해 수년간 꾸준한 요청이 있었는데요. 수많은 열혈 팬분께서 춤 동작의 정확성을 높여줄 전신 동작 인식 기능을 요청해 오셨어요. 2021년 후반에 Xbox에서 키넥트 지원을 중단하면서, 스마트폰 카메라를 사용하는 새로운 시스템을 생각해 보게 되었죠. 1년 반 동안 이어진 연구와 조사로 카메라 컨트롤러 기능의 첫 버전이 최적의 상태를 갖추고, 앞으로 출시될 저스트 댄스 에디션에 계속해서 사용될 예정입니다.

작동 방법: 딥 러닝, 댄스를 만나다

기존 카메라 채점 시스템(주로 Kinect 기반)과 비교하여, 새로운 카메라 컨트롤러는 기존의 딥러닝 모델*을 사용합니다. 이 모델은 플레이어의 움직임을 3차원 골격 형태로 추정하고, 이를 게임 코치의 움직임과 비교하여 점수를 산출합니다. 플레이어와 게임 간의 모든 데이터(거리, 각도, 방향 및 동작 측정값)는 머신러닝 기반의 비교 알고리즘을 거칩니다.  이를 통해 새로운 모션 컨트롤러** 덕분에 오른손만 추적되던 것에서 벗어나 정확한 전신 채점이 가능해졌습니다.

또한 스마트폰 카메라 기반의 이 새로운 솔루션은 콘솔과 독립적이므로, PS5와 Xbox에서 동시에 이 기능을 출시할 수 있으며, Switch와 Switch 2에서도 처음으로 제공할 수 있게 되었습니다.

독창적인 머신러닝 알고리즘

카메라 컨트롤러 기능의 핵심인 머신러닝 알고리즘은 데이터 과학자, 점수 레벨 디자이너, 게임플레이 프로그래머로 구성된 저스트 댄스 제작팀이 개발했습니다. 이는 데이터 수집, 라벨링 및 동작 인식 시스템을 기반으로 합니다. 시작 단계에서 머신러닝 알고리즘은 내부 데이터로 학습되었습니다. 이후 이 데이터는 점수 레벨 디자인팀이 검증하고 라벨링했으며, 데이터 과학팀이 품질을 모니터링했습니다. 그런 다음 게임플레이 프로그래머들 덕분에 이 머신러닝 알고리즘이 게임에 적용되었습니다.

전체 개발 과정은 2023년 말에 시작되었습니다. 총 9,000개의 동작이 녹화되었으며, 그 중 6,000개는 학습용으로, 3,000개는 테스트용으로 사용되었습니다. 데이터 테스트에서 80%의 성공률을 달성했으며, 나머지 20%는 점수 레벨 디자이너들이 수동으로 균형을 맞추고 조정했습니다.

2023년 12월 커뮤니티를 대상으로 베타 단계를 출시하여, 기능과 채점 느낌에 대한 초기 정성적 피드백을 공유할 기회를 제공했습니다. 전반적으로 피드백은 매우 긍정적이었으며, 플레이어들의 학습 곡선이 높은 평가를 받았습니다.

현재 시장에서 비교할 수 없는 기능

새로운 카메라 컨트롤러는 데이터 기반 솔루션을 통해 동작 인식을 게임에 효율적으로 통합하여 정확한 채점 결과를 제공합니다. 이것이 바로 카메라 컨트롤러가 기술 업계에서 두각을 나타내는 이유입니다.

2025년부터 이 기능과 호환되는 맵의 수가 크게 증가했으며, 다양한 기기에서 더욱 일관되고 안정적인 채점이 가능해졌습니다. 올해 많은 기술적 개선이 이루어져 채점의 반응성과 신뢰성이 향상되었고, 안무에 대한 더욱 상세한 평가가 가능해졌습니다. 실제로 새로운 맞춤형 도구 덕분에 솔루션에 대한 제어력이 강화되어 점수 균형을 맞출 때 더 많은 자유도를 가지게 되었고, 플레이어들에게 최고의 저스트 댄스 경험을 제공할 수 있게 되었습니다.

카메라 채점의 미래

저희는 이 독점 채점 기능이 더 많은 호환 가능한 게임플레이와 함께 IP의 미래에 큰 가치를 더할 것이라고 믿습니다.  커뮤니티의 긍정적인 피드백을 보게 되어 매우 자랑스럽게 생각하며, 앞으로도 피드백을 계속 추적하여 기능을 더욱 개선해 나갈 것입니다.

*딥러닝 모델은 대량의 데이터에서 학습하고 결정을 내리기 위해 여러 층의 신경망을 사용하는 인공지능 시스템의 한 유형입니다.

**저스트 댄스 2026 에디션의 기기별 세 가지 채점 옵션: Switch와 Switch 2 사용자 전용 Switch 컨트롤러, 모든 플레이어가 사용 가능한 Just Dance Controller 앱을 이용한 핸드헬드 모션 컨트롤러 및 카메라 컨트롤러.

연사 소개:

Apolline Wasik은 유비소프트의 컴퓨터 비전 전문 데이터 과학자로, 저스트 댄스 2026 에디션의 카메라 컨트롤러 기능 연구개발 및 제작에 참여하여 알고리즘 데이터 처리에 집중했습니다.

Léo Gammel*은 유비소프트의 점수 레벨 디자이너로, 저스트 댄스 2026 에디션의 카메라 컨트롤러 기능 연구개발 및 제작에 참여하여 채점 신뢰성과 콘텐츠 제작에 집중했습니다.

카메라 컨트롤러 기능이란?

*카메라 컨트롤러 모드는 플레이어가 스마트폰 카메라를 전신 동작 인식 도구로 전환하여 춤을 추면서 더 높은 수준의 정확도를 달성할 수 있게 하는 저스트 댄스의 기능입니다. 작동 방식은 다음과 같습니다. 스마트폰 카메라가 플레이어의 움직임을 감지하고, 이를 화면 속 코치의 안무와 비교합니다. 플레이어의 동작이 코치의 동작과 더 가깝게 일치할수록 점수가 높아집니다.  이 기능은 솔로 플레이어만 사용할 수 있으며 Just Dance 2025 Controller에서 이용 가능합니다. 저스트 댄스 2025 에디션에서 베타 테스트를 거친 후, 카메라 컨트롤러 기능은 이제 저스트 댄스 2026 에디션에서 공식 출시되었으며, 이제 두 손이 자유로운 저스트 댄스를 경험할 수 있습니다.