22일 프로농구 서울 SK나이츠의 홈 개막전이 열린 서울 송파구 잠실학생체육관. 경기 시작 10분 전. 김선형, 오세근, 허일영 등 서울 SK나이츠 선수단과 '에어본' 전희철 감독이 천장 파사드에 철갑옷을 두른 '무적의 기사단'으로 등장했다. 선수들이 '실제와 같은' 비장한 표정으로 오크 군단과 전투에 돌입하자 홈팬들은 참았던 환호성을 터트렸다.
인공지능(AI) 버추얼 휴먼 제작사 온마인드는 이날 서울 SK나이츠 선수단과 감독·코치진을 가상 인간으로 구현한 인트로 영상을 공개했다.
온마인드는 카카오게임즈 계열사 넵튠의 자회사로, 투자전문회사 SK스퀘어로부터 2021년 11월 80억원 투자를 받았다.
온마인드는 얼굴의 개성을 살리고, 현실감 있게 표정을 표현하기 위해 '디지털 트윈'을 활용했다.
디지털 트윈은 사람, 사물 등을 디지털 데이터 모델로 복제해 가상 세계에 구현하는 기술이다. 먼저 카메라 129대와 조명 50대를 동원해 얼굴 골격과 홍채, 주름 등에 대한 3차원 그래픽 데이터를 확보한 뒤, 입체 이미지 기본 단위인 '폴리곤'으로 변환했다.
여기에 콘텐츠 제작 엔진 '유니티'로 피부 솜털 등을 더해 실사감을 높였다.
김형일 온마인드 대표는 경기 전 열린 기자간담회에서 "최소 3∼6개월이 걸리는 작업을 두 달 만에 끝냈다"며 너스레를 떨었다. 그는 "영상 제작 과정이 있어서 한 달 안에 작업을 마쳐야 했다"면서 "디지털 트윈 파이프라인을 모두 구축했기 때문에 시작한 도전이었고, 결국 성공적으로 마무리할 수 있었다"고 강조했다.
선수들이 검을 휘두르거나 적진을 향해 달려가는 장면은 연기자의 움직임을 캡처해 3차원 캐릭터에 더하는 '실시간 렌더링' 기술을 적용했다.
회사는 영상 시간이 늘어날수록 비용이 기하급수적으로 늘어나는 기존 '오프라인 렌더링' 방식과 달리, 영상을 합성하거나 프레임 단위로 후처리를 하지 않고도 수준 높은 영상을 구현할 수 있다는 데 강점이 있다고 소개했다.
특히 온마인드는 기자간담회 도중 아이폰으로 가상 인간 '나수아'와 아이폰으로 페이스타임 통화를 하며 실시간 렌더링 기술을 시연했는데, 걸그룹 뉴진스의 춤을 추거나 커버곡을 불러도 끊김 없이, 진짜 사람과 흡사한 모습을 연출했다.
나수아는 경기 종료 48초 전 작전타임에 SK나이츠 '명예 치어리더'로 전광판에 등장해 유정석의 노래 '질풍가도'에 맞춰 힘찬 응원을 보여주기도 했다.
목진우 온마인드 최고운영책임자(COO)는 "팬덤 지식재산(IP) 사업을 통해 새로운 수익모델을 찾고 있고 좋은 성과가 나올 것이라고 내부적으로 기대하고 있다"면서 "2025년 하반기에 분기 손익분기점(BEP) 달성이 목표"라고 밝혔다.
아울러 온마인드는 최신 인공지능 기술을 접목해 스스로 말하고 행동하는 가상 인간 개발에도 속도를 내고 있으며, 다음 달 17일 SK 테크 서밋에서 'AI를 품은 풀 3D 버추얼 휴먼'을 주제로 첫선을 보인다. 김 대표는 "이번 협업을 통해 기술력을 대중에 증명하고, 가상 인간의 활동무대를 스포츠 업계로 확장할 좋은 기회를 얻게 됐다"며 "다년간 쌓아온 기술과 노하우를 통해 사람에게 이로운 역할을 하는 서비스를 제공하겠다"고 말했다.