20대 윤여정·30대 최민식, 얼굴 확 바뀌었다…돈 몰리는 '이 마법' [긱스]

얼굴·목소리 '디에이징' 기술 뜬다

챗GPT가 몰고 온 '생성 AI' 바람이 매섭습니다. 생성 AI는 넓게 보면 입력한 데이터로 새로운 콘텐츠를 만들어내는 기술인데요. 최근 영화나 드라마, 광고에서 새롭게 '생성'된 '과거'의 모습들이 종종 보이고 있습니다. 이런 기술에 능한 스타트업들이 주목받는 중입니다.

#1. 디즈니플러스 오리지널 시리즈 '카지노'에서는 30대 시절 배우 최민식의 모습이 재현돼 떠들썩했다. 60대 최민식이 가발을 쓰고 직접 30대 시절을 연기했다. 나머지는 인공지능(AI)의 몫이었다. '디에이징' 기술을 활용해 주름을 지우고, 피부톤을 보정했다. 목소리 역시 젊은 시절을 구현했다. '야망의 세월'에서 ‘꾸숑'을 연기하던 30대 최민식의 목소리를 뽑아냈다.

사진=디즈니플러스

#2. KB라이프가 지난달부터 선보인 TV 광고에는 1960~1970년대 20대 시절 배우 윤여정이 등장한다. '카지노'의 최민식보다 더 극적으로 젊어졌다. AI를 활용해 아예 가상인간을 새롭게 만든 덕분이다. 젊은 윤여정의 얼굴과 목소리, 손짓과 표정은 흑백 화면과 어우러져 신비로움을 더했다.

사진=KB라이프

'레트로' 열풍에 스타트업이 뛰어들고 있다. 스타의 과거 모습을 되살리거나 잊혔던 추억을 복원하는 기술이 각광받는 중이다. 가상인간을 만들고 소리를 분리해내는 AI 기술을 가진 스타트업들엔 투자금도 몰리고 있다.

'과거 소환술' 선보이는 스타트업들

디에이징 기술을 가진 국내 스타트업들이 종횡무진 활약하고 있다. 지난 15일 시즌2가 공개된 '카지노' 속 젊은 최민식에는 국내 스타트업들의 기술력이 들어갔다.

젊은 최민식의 목소리는 스타트업 가우디오랩과 수퍼톤의 작품이다. 우선 가우디오랩이 음원 분리 기술을 활용해 과거 영상에서 주변 소음과 잡음을 제거한 뒤 목소리를 뽑아냈다. 그런 다음 수퍼톤이 이 목소리에 '보이스 디에이징' 기술을 입혀 다양한 대사에 자연스럽게 '60대 최민식'의 목소리가 '30대 최민식'의 목소리로 변환되도록 만들었다. 가우디오랩이 재료를 만들었다면, 수퍼톤이 요리사의 역할을 한 셈이다.

최민식의 얼굴은 씨제스엔터테인먼트 자회사로 2020년 출범한 씨제스걸리버스튜디오가 담당했다. 과거 영화 속에 등장하는 얼굴을 AI가 학습한 뒤 실제 최민식에 덧입히는 '페이스 디에이징' 기술을 사용했다. 연기의 디테일이 무너지지 않도록 눈, 코, 입 등 얼굴 부위별로 일일이 구분해 학습시켰다는 설명이다.

KB라이프 광고 속 젊은 윤여정은 가상인간 스타트업 디오비스튜디오가 만들어냈다. 1971년 영화 '화녀' 속 24살 윤여정의 얼굴과 70대인 지금의 모습을 절반씩 섞은 뒤 AI가 딥러닝을 통해 구현했다. 또 젊은 윤여정의 목소리는 스타트업 휴멜로가 음성 합성 기술을 통해 재현했다. 보정을 넘어 아예 새로운 가상 인간을 만든 덕분에 젊은 최민식보다 변화의 정도가 더 크다. 대신 자연스러움은 덜하다는 평가다.

지난달엔 한 예능 프로그램에서 '전원일기' 속 '응삼이' 역을 맡은 배우 故박윤배의 가상 인간이 깜짝 등장했다. AI 스타트업 빔스튜디오가 선보인 기술이다. 실시간으로 입모양과 표정에 맞춰 소통이 가능하다. 또 지난해 말엔 공중파 예능 프로그램에서 AI 스타트업 네오사피엔스가 낡은 오디오 테이프 속 세상을 떠난 아버지의 옛 목소리를 뽑아내는 기술을 뽐내기도 했다.

AI가 만든 레트로... 투자업계도 주목

사진=가우디오랩

과거를 소환하는 기술이 발전할 수 있었던 데엔 AI의 역할이 크다는 분석이다. 이를테면 가우디오랩의 음원 분리 기술엔 정량적 수치뿐만 아니라 사람이 느끼는 음질의 정도와 같은 정성적인 척도를 모델링할 수 있는 AI가 활용됐다. 또 소리의 크기 역시 물리적인 단위가 아닌 '라우드니스' 개념을 도입해 사람이 실제로 느끼는 음량을 고려했다는 설명이다. 가우디오랩 관계자는 "청각 특성을 반영한 손실 함수를 적용했고, 최적의 학습 모델을 적용하기 위해 음향 공학 박사 등 다양한 전문가가 음향 평가 과정에 참여했다"고 설명했다.

얼굴을 젊게 하는 '페이스 디에이징' 역시 AI 기술의 집약체다. AI가 배우의 과거 작품을 학습해 얼굴을 분석한 뒤 현재 영상 속 실제 배우의 입모양과 표정 등에 맞춰 젊은 얼굴을 합성하는 식이다. 일일이 배우 얼굴에 장비를 씌우고 작업자들이 들러붙어 보정 절차를 거치던 기존 디에이징 방식에 비해 작업 시간과 비용을 획기적으로 줄였다는 평가다.

나아가 가상 인간 역시 AI 기술의 발전을 단적으로 보여주는 예시다. 기존 딥페이크 기반의 합성 방식 가상 콘텐츠는 글리칭(화면 깨짐) 현상 등으로 자연스러움이 떨어졌다. AI가 만들어 낸 가상 인간은 딥러닝을 통해 얼굴 자체를 새로 만드는 덕분에 단순 딥페이크보다 자연스러움을 더할 수 있다. '젊은 윤여정'을 만든 디오비스튜디오가 강점을 가진 분야도 얼굴 데이터를 학습한 뒤 새로운 얼굴을 만들어내는 '가상 얼굴' 생성 기술이다.

대형 콘텐츠에 스타트업의 기술이 속속 들어가자 투자업계도 주목하고 있다. 가우디오랩은 음원 분리 기술 덕분에 네이버D2SF, 삼성벤처투자, 소프트뱅크벤처스 등으로부터 누적 160억원 이상의 자금을 유치했다. '카지노'에서 가우디오랩과 협업했던 수퍼톤은 최근 하이브에 인수되면서 1000억원 넘는 기업가치를 평가받았다. 디오비스튜디오도 CJ인베스트먼트 등서 러브콜을 받은 바 있다. 빔스튜디오는 스파크랩의 선택을 받았다.

사진=수퍼톤

투자업계는 이런 스타트업들이 가진 무궁무진한 '확장성'에 주목한다. 레트로 열풍이 단순히 과거의 향수를 자극하는 데에서 그치지 않고 콘텐츠 '경험'의 질을 높이는 기술로 발전할 수 있다고 본다는 얘기다. 예를 들어 음원 분리 기술은 음원의 MR을 생성하거나 영상에서 특정 대사의 음량을 키우는 데 쓰일 수 있다. 또 디에이징에 들어간 AI 기술과 가상 인간은 키오스크나 컨시어지 서비스 같은 곳에 활용이 가능하다.

특히 스타트업이 대기업에 비해 강점을 가진 분야로 '전문성'이 꼽힌다. 전문 인력을 한 곳에 모으는 게 쉽다는 의미다. AI 스타트업 관계자는 "아직 시장이 크지 않은 '니치 마켓'일수록 모험을 할 수 있는 스타트업들이 뛰어난 인재들을 빨아들일 수 있다"고 평가했다.

할리우드도 디에이징

해외에서도 할리우드를 중심으로 디에이징 기술을 가진 스타트업들이 주목받는다. 예를 들어 디즈니플러스 오리지널 '만달로리안'에서는 주인공 루크 스카이워커 역을 맡은 배우 마크 해밀의 젊은 시절 목소리가 등장한다. 이 목소리는 우크라이나 AI 스타트업 리스피처의 작품이다. 68세의 마크 해밀의 목소리를 20대처럼 변환했다. AI 기반 음성 복제 솔루션(보이스 클로닝) 기술을 사용했다. 1~2시간가량 배우의 젊은 시절 목소리를 학습한 뒤 대사에 맞는 음성을 생성하는 식이다.

지난해 '히트'를 쳤던 영화 '탑 건: 매버릭'에서는 영국 기반 AI 스타트업 소난틱이 배우 발 킬머의 목소리를 만들어내기도 했다. 발 킬머는 인후암 투병 탓에 목소리를 내기가 어려운 상황이었다. 이 회사도 리스피처 사례와 비슷하게 과거 배우의 목소리를 학습한 뒤 음성을 복제하는 기술을 썼다. 소난틱은 지난해 스포티파이에 인수되면서 1억달러(약 1300억원)에 가까운 몸값을 인정받은 것으로 알려졌다.


김종우 기자 jongwoo@hankyung.com