I’m real…버추얼 휴먼에 엔터테인먼트의 미래를 묻다

가상 인간의 진출 분야가 다변화하고 있습니다. 드라마부터 광고, 가요계까지 종횡무진한다는 표현이 어색하지 않습니다. 엔터테인먼트 업계 전반에서 활약하는 가상 인간은 실제 인물보다 리스크 요인이 적고, 독자적 세계관 구축에 용이하다는 점에서 기대받고 있습니다. 가상 인간이 결국 현실을 넘어 '팬덤'을 몰고 다니는 세상이 도래할 수 있을까요? 국내 최초 웹드라마 조연을 맡은 가상 인간 '제인'을 탄생시킨 스타트업 펄스나인의 박지은 대표가 가상 인간이 엔터테인먼트 업계에 불러일으킬 혁신을 한발 앞서 조망합니다.

아주 먼 옛날, 한 가상의 존재에 대한 이야기가 있다. 그에게는 용감하고, 정직하고, 이기적이지 않으며, 양심의 목소리를 들어 좋은 것과 나쁜 것을 가려낼 줄 안다는 것을 세상에 증명해야 하는 미션이 있었다.

그는 끝내 미션을 달성했고, 요정과의 약속에 따라 나무 장난감 인형에서 사람이 되었다. “I’m a real boy now.” 사람이 되는 꿈에 도전했던 피노키오의 성장 스토리다. 21세기에 이르러, 다양한 모습을 한 수만 명의 가상 캐릭터들이 동화책을 넘어 소셜네트워크서비스(SNS) 등 다양한 디지털 미디어에서 진짜 사람이 되기 위한 각자의 성장 스토리를 그려가고 있다.

0.6초면 얼굴 생성…시각 효과 판 바뀌었다

영국의 시사 주간지 이코노미스트는 코노나19 이후 올해 주목할 기술로 ‘가상 인간(버추얼 휴먼)’을 선정했다. 300만 명의 인스타그램 팔로어를 보유한 릴 미켈라 등 성공한 버추얼 휴먼의 뒤에는 브랜드가 있고, 이를 성공적으로 성장시키기 위해서는 수십명의 사람들이 오랜 기간 협력했다. 버추얼 휴먼은 ‘CGI 캐릭터’라고 불리기도 하는데, 사람의 모습을 최대한으로 닮도록 컴퓨터를 통해 인공적으로 정교하게 표현된 것을 중요 요소로 보기 때문이다.

버추얼 휴먼은 외형, 목소리, 언어 등 다양한 부분을 사람과 동일하게 가지게 되는데 이 중 외형적 부분이 ‘시각적 커뮤니케이션’과 ‘시각적 정체성’을 동시에 담당한다고 볼 수 있다. 사람이 외부와 소통하는 주요 감각기관인 오감(후각·청각·시각·촉각·미각) 중 가장 중요한 감각을 고르라고 한다면 일반적으로 시각을 꼽을 것이다. 시각은 사람의 정보처리를 위한 인지 감각의 80%를 차지하며, 그 중 사람 간의 비언어적 커뮤니케이션 중 표정과 눈이 중요한 요소다. 이에 따라 버추얼 휴먼을 디자인 할 때 얼굴의 중요성을 첫손가락으로 꼽는다.

세계적으로 가장 유명한 '버추얼 인플루언서' 릴 미켈라(왼쪽)은 2016년 미국에서 탄생했다 일본의 이마(오른쪽) 역시 모델 등으로 활동하며 인기를 빠르게 얻었다. /사진=인스타그램

버추얼 휴먼은 실제 사람과 같이 말하고 움직이는 것을 2차원(2D), 2.5차원(2.5D) 또는 3차원(3D) 컴퓨터 그래픽 작업으로 표현하는 과정을 거친다. 이 때 기술적으로 가상의 인공물을 실제 사람으로 오인하게 할 정도의 극사실적 표현을 빠른 시간 내에 완성할 수 있는지가 산업적 관건이다. 제작사들의 제작비 문제와 직결되기 때문이다.

버추얼 휴먼 제작은 정교한 그래픽 기술 개발과 효율적인 업무 절차 마련, 그리고 자동화 시스템을 구축 하는 부분에서 도전을 마주하고 있다. 특히 실존하는 사람이 아닌 가상의 캐릭터 얼굴을 기획에 맞게 디자인하고, 이를 실제 사람처럼 움직이게 하기 위해서는 고수준의 특수 시각효과(VFX) 기술이 중요하다.

최근 딥러닝 등 영상처리를 위한 다양한 기술의 비약적인 발달로 창작의 프로세스도 조금씩 변화하고 있다. 가상 얼굴 디자인 분야는 대부분 현업에서 전문 3D 모델러가 수작업으로 가상 얼굴을 몇 달간 디자인해야 했다. 하지만 딥러닝을 적용하면 0.6초만에 가상의 사람 얼굴 하나를 쉽고 빠르게 디자인할 수 있다.

합성 분야는 최근 실시간으로 가상 캐릭터를 합성해 생방송으로 실제 사람처럼 현장의 진행자와 자연스럽게 대화하는 것을 송출하기에 이르렀다. 이는 불과 5년 전만 하더라도 대규모 예산을 갖춘 영화에서나 볼 수 있는 비용 높은 작업이었다. 2017년에 개봉한 피겨스케이팅 영화 ‘아이, 토냐’에서는 고난도 자세인 ‘트리플악셀’ 장면을 수 초간 연출하기 위해 전문 시각효과 팀이 3개월간 타이트한 작업을 진행했던 것과 대조적이다.

술 취하지 않는 ‘가상의 존재들’

실제 사람과 같은, 그리고 AI를 기반으로 실제보다 더 호감 가는 외모의 버추얼 엔터테이너가 가득한 일상은 어떤 모습일까? 버추얼 엔터테이너는 실제 사람이 아니기 때문에 사람의 실수로부터 오는 리스크를 제어할 수 있으며, 실재하기 어려운 환상적인 세계관 구축과 지속이 용이하다.

엔터테인먼트 업계에서는 버추얼 엔터테이너에 대해 많은 관심을 가지고 있다. 이들은 기획에 따라 원하는 외모를 가질 수도 있으며, 연기하고 노래하고 춤추는 것이 동시에 완벽할 수도 있다. 또한 술에 취하거나, 누군가를 속이거나, 소속사와의 계약을 해지하지 않는다. 언제나 묵묵하고 충실한 자세로 맡은 역할을 다할 수 있다. 한번 스타로 자리매김 하면 엔터테인먼트 산업에서의 가장 큰 숙제인 ‘불확실성’을 줄이는 솔루션이 된다.

‘가상의 존재(virtual being)’를 중심으로 한 엔터테인먼트는 오래전부터 있었지만, 실제 사람에 가까운 버추얼 휴먼으로 만들어가는 엔터테인먼트는 이제부터가 시작이다. 그동안 기술적 한계로 인해 대규모 자본 투자가 가능한 영화나 공연에서만 만나볼 수 있었지만, 기술의 발달로 그 저변이 넓어지고 있다.

하지만 보다 많은 주체가 도전할 수 있는 기술의 발달로 인해 역설적으로 기술만으로 버추얼 휴먼이 경쟁하기 어렵다고 본다. 한국에는 팬클럽을 만들어내며 20만 장 이상의 음반 판매 기록을 세운 세기말의 사이버 가수 아담의 성공사례가 유명하다.

불쾌한 골짜기는 옛말이 됐다

일본의 로봇학자 모리 마사히로의 '불쾌한 골짜기' 이론을 나타낸 그래프. 출처=Asif A Ghazanfar&Shawn A Steckenfinger/PNAS

그의 조기 은퇴에 대한 분석과 더불어서는 ‘불쾌한 골짜기(uncanny valley)’에 대한 언급도 함께 등장하곤 한다.

불쾌한 골짜기는 일본의 로봇학자 모리 마사히로의 이론이다. ‘인간과의 유사성(human likeness)’과 ‘인간이 느끼는 호감도(familiarity)’의 상관관계를 그린 그래프에 대한 것이다. 원래 로봇 디자인 연구에서 출발하는데 거의 인간에 가까운 로봇에 대해 호감도가 떨어지고, 움직이는 것과 같은 행동은 호감도 변화를 증폭하는 것을 보여준다. 결국 기술적으로 완벽함에 이르지 않으면, 호감도에서 기술이 역효과를 불러온다는 것이다.

하지만 아담과 불쾌한 골짜기를 연결하는 것은 현대 해석상의 결과론적 오류로 보여지기도 한다. 지금과는 차이가 많은 그래픽 수준이지만, 당시에는 충분한 인기를 얻었다는 것을 여러 성과로 알 수 있기 때문이다. 또한 요즘의 ‘이슈가 이슈를 낳는’ 마케팅 트렌드를 따라가다 보면, 불쾌한 골짜기는 옛말과도 같다. 필자도 때로는 버추얼 휴먼을 고용한 기업 담당자들에게, 너무 사실적이어서 누가 이야기해주지 않으면 잘 모르니 ‘인공적인 느낌’을 가미해 달라는 특별한 요청을 듣기도 하니 말이다.

버추얼 휴먼을 활용한 콘텐츠 제작 현업에서는, 콘텐츠의 스토리와 완성도로 화제가 될 때도 있지만 눈에 띄게 어색했을 때 역시 화제가 되는 것을 동시에 체감하고 있다. 이런 것을 보면 기술만으로 버추얼 휴먼이 경쟁하기 어려울 뿐 아니라, 기술에 매몰되지 않아야 한다는 교훈을 얻는다.

이미 시작된 가상 아이돌 팬덤

필자는 ‘이터니티(ETERNITY)’의 첫 가상 아이돌 뮤직비디오를 선보인 후, ‘인공적으로 만들어진 버추얼 아이돌이 사람 아티스트만큼의 팬덤을 만들 수 있는가’라는 질문을 여러 번 받았다. 이터니티는 인공지능(AI) 기반 ‘GAN(Generative Adversarial network)’ 기술로 생성된 가상의 얼굴로 활동하는 버추얼 K-POP 걸그룹이다.

이터니티의 경우, 몇몇 팬들의 제안으로 ‘이터널’이라는 팬클럽이 우연히 생겨났다. 아직 작은 규모의 팬클럽이지만 팬아트와 팬픽, ‘K-POP 밈’을 주고받으며 디스코드에서 활발히 운영되고 있다. 흥미롭게도 이 온라인 커뮤니티를 통해 K-POP 팬덤이 무엇인지 역으로 알아가는 상황이 벌어지고 있다. 이터널이 무엇을 기대하는지, 또 그들이 어떤 대화를 나누고 싶어 하며, 버추얼 아이돌과 함께 무엇을 추구할 수 있는지 지켜보고 있다.

웹드라마 '안녕하쉐어' 속 재인의 모습. 재인은 펄스나인이 만든 가상 걸그룹 '이너티니'의 멤버다. 드라마에선 정식으로 조연 역할을 소화했다. 펄스나인 제공.

한편으로는 신기루와도 같은 아이돌의 인기와 신화와도 같은 판타지적 세계관을 볼 때, 과연 장르가 다를 뿐 버추얼 아이돌의 그것과 무엇이 크게 다를까 싶기도 하다. ‘어쩌면 버추얼 아이돌이기에 더 지구력 있게 추구할 수 있는 새로운 장르가 열린 것이 아닌가’라는 반문도 해 본다.

기존 버추얼 커뮤니티를 기반으로, K-POP을 기반으로, 또는 세계관과 스토리를 기반으로 엔데믹 이후의 현실 세계와 맞물려 나아갈 버추얼 아이돌. 이들이 전하고자 하는 각자의 세계관과 철학, 음악과 춤, 그들만의 오리지널리티를 선보이는 무대는 이제 하나씩 성장과 진화를 거듭해 갈 것이다.

여가의 확장과 매체의 다변화로 무한히 확장되고 있는 디지털 공간은 늘 새로운 엔터테인먼트가 있어야 한다. 또한 다양한 그래픽스 기술의 발달로, 버추얼 휴먼 및 관련 콘텐츠의 제작비도 블록버스터 스튜디오 급에서 개인 제작 스튜디오 급으로 낮아지는 추세다. 버추얼 휴먼은 이런 디지털 공간에서 사용될 콘텐츠의 제작비를 낮추고 보다 다양한 상상력을 표현할 수 있는 훌륭한 매체다.

가상이어서 가능한, 독특한 스토리 안에서 디지털적으로 잘 표현이 된 캐릭터들이 현실의 사람들보다 매력적이라면 어떤 일들이 펼쳐질까. 바야흐로 버추얼 휴먼이어서 가능한 새로운 콘텐츠 장르의 시대다.

아직은 이들이 사람과도 같은 살아있는 존재로 인정받기 위해서는 아직 증명해야 할 것들이 많다. 아이돌은 팬덤으로, 아티스트는 작품으로, 퍼포머는 무대로써, 인플루언서는 대중에 대한 영향력으로써 각자의 역할과 존재를 입증해야 한다. 버추얼 휴먼은 사람을 표방하기에, 아직 피노키오가 치렀던 성장과 진화에 대한 숙제가 동일하게 남아 있다.