온마인드의 포토그래메트리(Photogrammetry)
온마인드의 포토그래메트리(Photogrammetry)
‘하나 둘 셋, 큐!’
센서가 붙은 특수의상을 입은 모델이 곧바로 버추얼휴먼(가상인간) 셀렙 ‘수아’가 된다. 모델이 춤을 추기 시작하자 스크린 속 수아가 똑같이 움직인다. 현실과 스크린 양쪽간 동작 시차는 눈으론 확인할 수 없을 정도다. 빠르게 몸을 돌려 나오는 ‘측면샷’에서도 그래픽이 전혀 깨지지 않았다.

현실과 가상인간이 서로 꼭 닮은 것만은 아니다. 현실 속 모델은 한 뼘 남짓한 꽁지머리를 하고 있었지만 수아는 긴 머리를 찰랑대며 움직였다. 머리카락 묘사는 ‘진짜같다’는 말을 하는 게 의미가 없어보일 정도로 진짜 같았다. 김형일 온마인드 대표는 “키가 185cm인 사람이든, 150cm인 사람이든 저 센서 옷을 입고 움직이면 곧바로 수아가 될 수 있다”고 말했다.

가상인간, 다 같은 게 아냐

온마인드는 버추얼휴먼 기업이다. 가상인간을 만든다. 여기까진 흔한 문장이지만 흔치않은 기업인 이유가 있다. 3D모델링과 모션캡쳐 기술로 가상인간을 만든다는 점이다. 이를 통하면 버추얼휴먼이 단순 광고를 뛰어넘어 라이브커머스나 실시간 토크쇼에도 나올 수 있다. 수아가 인스타그램 ‘라방’에서 효소를 팔 수도 있다는 얘기다.

"3년 내엔 사람 대역도 필요 없는 버추얼휴먼 나온다"
업계에 따르면 버추얼휴먼을 만드는 방식은 크게 세 가지로 나뉜다. 첫번째가 실제 사람 영상이나 사진을 찍은 뒤 얼굴 그래픽만 덧씌워 합성하는 ‘딥페이크’ 방식이다.

딥페이크는 가장 간단하고 저렴한 방법이다. 주로 AI 앵커, AI 고객 도우미 등 정면을 보는 버추얼휴먼을 만드는 데에 쓰인다. 갑작스러운 움직임이 나올 경우 몸과 얼굴이 따로 놀거나, 옆 얼굴이 나올 때 그래픽이 깨지기 십상이기 때문이다.


두번째는 시각특수효과(VFX) 방식이다. 마치 공상과학(SF)영화를 만드는 것처럼 버추얼휴먼 콘텐츠를 처음부터 끝까지 컴퓨터 그래픽으로 만드는 방법이다. 버추얼휴먼을 쓰는 뮤직비디오나 광고가 대부분 이 방식으로 제작된다. 그래픽에 공을 들여 자연스러운 영상을 만들 수 있지만 그만큼 돈이 많이 든다. 실시간 소통 기반 라이브쇼는 아예 할 수 없다. 방식 자체가 ‘선제작’이 필수라서다.
"3년 내엔 사람 대역도 필요 없는 버추얼휴먼 나온다"
세번째가 3D모델링과 모션캡쳐를 쓰는 방식이다. 버추얼휴먼의 ‘뼈대’를 잡아놓고, 여기에다 실시간으로 원본 모델의 동작을 포착(모션캡쳐)해 3D 그래픽을 입히는 기술이다. 온마인드의 경우엔 스튜디오 내 모델의 움직임을 광학카메라 24개가 추적해 실시간으로 그래픽을 생성한다. 인체 관절의 가속도 등을 측정하는 모션캡쳐 센서도 활용한다.
"3년 내엔 사람 대역도 필요 없는 버추얼휴먼 나온다"
3D모델링·모션캡쳐 기술로 버추얼휴먼을 구현하기는 쉽지 않다. “버추얼휴먼은 겉모습 그래픽이 아니라 그 안의 구동 체계가 중요하다”는 설명이다.

이상민 온마인드 사업실장(CBO)은 “뼈대를 어떻게 잡아 실시간으로 어떤 움직임을 낼지, 표정 근육은 어떻게 움직여야 할지 등 프로그래밍과 세팅이 중요한 분야”라며 “이런 노하우와 기술은 단순히 직원들의 ‘노가다’나 자본을 투입해 단기간에 확보할 수 있는 게 아니다”라고 설명했다. 기존에 그래픽 콘텐츠를 생산해온 게임·영화 기업 등이 버추얼휴먼 분야에서도 똑같은 기술 우위를 내기 힘든 이유다.

온마인드는 실시간 렌더링 기술 덕분에 글로벌 3D 엔진기업 유니티의 러브콜을 받기도 했다. 유니티와 머리카락 시뮬레이션 기술 등을 협업하고 있다.

“아직은 ‘대역’ 필요…3년 안엔 아닐 것”

온마인드의 포토그래메트리(Photogrammetry)
온마인드의 포토그래메트리(Photogrammetry)
그래픽 기술이 좋아도 아직은 남은 단계가 있다. 수아의 움직임을 구현하는 '대역'을 실제 사람이 맡아야 한다는 점이다. 그간 IT업계에서 3D모델링 기반 버추얼휴먼을 두고도 ‘무대 뒷편에선 사람이 움직이고 있는데, 이렇게 만들어진 그래픽이 진짜 가상인간이라고 할 수 있는가’란 질문이 나온 이유다.

온마인드는 3년쯤 뒤엔 모델 대역이 없이도 움직일 수 있는 ‘AI 버추얼휴먼’이 나올 것으로 보고 있다.

이상민 실장은 “AI 알고리즘 진보가 굉장히 빠르게 일어나고 있다”며 “3년쯤 뒤엔 스튜디오에서 모델의 모션캡쳐를 할 필요가 없이 알아서 움직이는 버추얼휴먼을 볼 수 있을 것”이라고 했다.

“AI 버추얼휴먼, ‘셀럽’부터 개인화 비서까지 무궁무진”

온마인드는 버추얼휴먼 수아와 하나리 등을 두고 있다. 이중 수아는 이미 ‘가상셀럽’이다. 유니티코리아를 비롯해 던킨, 라네즈, 한국관광공사 등의 광고 모델로 기용됐다. 지난달부터는 걸그룹 아이브의 멤버 장원영과 함께 SK텔레콤 광고에도 나온다. 최근엔 태국 광고기업과 계약을 맺고 해외 진출에도 성공했다.
"3년 내엔 사람 대역도 필요 없는 버추얼휴먼 나온다"
버추얼휴먼 시장에선 이런 ‘셀럽 비즈니스’가 한 축을 이룰 전망이다. 수아의 지식재산권(IP)을 기반으로 각종 콘텐츠, 서비스, 제품 등을 만드는 식이다.

엔터테인먼트 분야에서의 수요도 높다. 가상인간은 일단 시·공간 제약을 받지 않는다. 동선과 상관없이 수많은 '행사'를 뛸 수 있고, 일단 한 번 모델을 구축해놓으면 관리비가 실제 연예인에 비해 훨씬 덜 든다. 음주운전이나 실언 등 논란을 일으키지도 않는다.

가상인간이 개인화 비서가 될 수도 있다. 온마인드는 스스로 말하고 움직이는 AI 버추얼휴먼을 만드는 게 목표다. 이를 기반으로 디지털세계에서 활동하는 개인 맞춤형 비서 서비스를 낼 수 있다는 구상이다.

이상민 실장은 “이같은 개인화 서비스는 앞으로 반드시 일어날 트렌드라고 본다”며 “기술과 하드웨어가 함께 발전해 자연스러운 버추얼휴먼을 구현할 수 있게 되면 이후엔 비용과 대중 수용도가 관건이 될 것”이라고 내다봤다.

SK-카카오 동맹도 활용

버추얼휴먼을 셀럽이나 AI 비서로 만들려면 동맹군이 필요하다. 스타트업 한 곳의 솔루션만으론 활용처를 늘리기가 어려워서다. 온마인드는 SK스퀘어·SK텔레콤 계열, 카카오 계열 각 기업과 생태계 협업에 나설 계획이다.

온마인드는 카카오게임즈의 자회사인 넵튠의 자회사다. 2020년 4월 설립 후 약 반 년만에 넵튠의 투자를 유치했고, 작년 4월엔 카카오 계열사로 편입됐다. 작년 11월 말엔 SK스퀘어로부터 80억원 규모 투자를 유치했다. SK스퀘어가 출범 한 달도 안 돼 발표한 첫 투자건이었다. 온마인드는 이를 인연으로 SK텔레콤과 AI 기반 음성합성기술 협업을 하고 있다. 수아의 AI 목소리를 SK텔레콤 기술로 만든다는 얘기다.

SK스퀘어는 자사 자회사가 운영하는 오디오 스트리밍 플랫폼 플로, OTT 웨이브 등과 온마인드가 시너지를 낼 수 있을 것으로 보고 있다. 플로와 웨이브가 협업해 디지털휴먼을 인기 아티스트로 육성하는 식이다.

메타버스 협업도 구상 중이다. 메타버스 플랫폼은 새로운 디지털 세상이고, 그 세상 안에서 사는 사람들이 꼭 필요하다는 점에서 착안했다.
온마인드의 포토그래메트리(Photogrammetry)
온마인드의 포토그래메트리(Photogrammetry)
김형일 온마인드 대표는 “온마인드의 버추얼휴먼 기술에 초거대 인공지능 GPT-3를 붙이고, 여기에다 카카오가 추진 중인 메타버스와 SK텔레콤의 AI 비서를 접목할 수 있을 것”이라며 “이렇게 하면 스스로 말하고, 움직이며 메타버스에서 활동하는 AI 버추얼휴먼이 나올 수 있다”고 말했다.

그는 “메타버스 ‘영토’를 가진 기업들은 사람이 필요하다”며 “이때문에 국내외에서 버추얼휴먼 문의가 느는 추세”라고 덧붙였다.

선한결 기자 always@hankyung.com