'드라마 ○○에 출연한 신인 배우 정체, 알고보니...'

이런 헤드라인을 가진 기사가 부쩍 늘었습니다. 요즘 CF나 드라마, SNS 등을 달구고 있는 신(新)인류 'AI휴먼'에 대한 내용입니다. '멀쩡한' 배우나 모델들을 놔두고 실체없는 디지털 인간들이 이처럼 뜨는 이유는 무엇일까요. 요즘 논란이 되는 딥페이크 기술이나 아바타 기술과는 어떻게 다를까요.

AI 인간의 활약상과 제작 방식을 한경 긱스(Geeks)가 알아봤습니다.

가상인간 '로지'

인공지능(AI) 스타트업에 다니는 20대 직장인 A씨는 ‘부캐(부캐릭터) 컨셉 매니저’로 일한다. 가상인간의 페르소나를 만들고 그에 맞는 얼굴, 의상, 동작 등을 기획하는 업무다. A씨는 "다양한 고객사가 맞춤형 가상인간을 필요로 하면서 컨셉에 맞게 이들을 기획하는 인력이 필요해졌다"고 말했다.

가상인간이 연예, 금융, 언론, 교육 등 분야를 가리지 않고 활약하고 있다. 국내에서 가장 잘 알려진 가상인간 ‘로지’는 연 수익 10억원 정도로 모델료 등 몸값이 트로트 스타 임영웅에 필적하는 수준이라고 알려졌다.

가상인간은 사람의 모습을 디지털화(化)한 존재로, 2D(2차원) 애니메이션부터 가상 인플루언서까지 현실에서 존재하지 않는 인격체를 아우르는 포괄적인 개념이다. 가상의 인물이 아닌 실존 인물을 AI로 구현하기도 한다. 실제 사람을 흉내낸 '인공'의 인물로 넓은 의미에서 가상인간으로 보기도 한다.'AI 윤석열'이 대표적이다. 당시 대선 후보자였던 윤석열의 음성, 얼굴 데이터를 학습한 AI가 그를 재현해 많은 이들의 관심을 끌었다.

국내외 기업들은 앞다투어 실제 사람처럼 이물감 없는 외형을 만들고, 실시간 대화가 가능하도록 기술을 고도화하고 있다. 업계에서는 2020년 100억 달러(약 12억 6300억원) 규모였던 가상인간 시장이 2030년 5275억8000만 달러(663조 3335억원) 규모에 이를 것으로 보고있다.

어떻게 만들어질까

'인공인간, AI휴먼, 디지털휴먼, 메타휴먼, AI 아바타, 버추얼 인플루언서…. '

명확히 정해진 용어가 없는 탓에 업계에서는 다양한 이름으로 불리고 있다. 용어로 정확히 구분하긴 어렵지만 AI방식, CG방식, 두 가지 혼합방식 등 구현기술로 구분하고 있다. 갈수록 기술이 혼용되면서 구분의 의미가 사라지는 추세이기도 하다.

AI 구현 방식은 AI윤석열, AI 김주하 등 주로 실사를 기반으로 하며 2D에 특화된 점이 특징이다. 실제 사람의 업무를 대신해주는 아바타처럼 활용돼 실용성이 높다.

입 모양이나 표정 근육 등 실제 사람의 얼굴 데이터를 수집한다. 음성 데이터도 수집해 추후 AI챗봇을 붙일 때 활용된다. 이러한 데이터를 딥러닝 AI가 지속적으로 학습하면 표정, 동작, 말투 등을 그 사람과 비슷하게 흉내내게 되는 원리다. 음성을 입힐 경우 입모양도 자연스럽게 구현해 낸다.

지난 4월 딥브레인AI가 중국 공영방송 CCTV에 최초의 AI 앵커 '왕(Wang)'을 제작했다. 정면 위주였던 AI휴먼을 측면으로 구현한 점이 특징이다. 딥브레인AI 제공.

하지만 주로 정면, 2D 위주다. 실제 사람과 유사한 점이 장점이지만 다각도에서의 섬세한 동작 구사에는 기술적인 어려움이 있다. 최근 AI가상인간 스타트업 딥브레인AI은 측면을 구현하기도 했다. 3D 기술을 활용해 정면뿐 아니라 측면까지 구현된 AI 앵커 '왕'을 중국 공영방송사 CCTV에 공급했다.

CG 구현 방식은 게임 캐릭터를 생각하면 이해가 쉽다. 컴퓨터 그래픽 기술이 발전하면서 실제 인물같은 게임 캐릭터를 구현해 낸 것이다. 로지, 한유아, 영국의 릴 미켈라(Lilmiquela) 등 주로 버추얼 인플루언서로 구현된 이들이 CG기반이다.

이 방식은 주로 3D 모델링 기법을 이용한다. CG, 시각특수효과(VFX) 등의 기술을 써서 그림을 그리는 개념이다. 2D 이미지를 3D로 모델링한 뒤 피부, 뼈, 신경망을 심는 작업을 한다.

동작과 표정 등 모든 것을 하나하나 만들어야 해서 상대적으로 시간과 제작 비용이 많이든다. 음성을 입힐 때 입모양도 상대적으로 자연스러움이 떨어진다. 하지만 비교적 다양한 각도에서 동작 구상이 가능하다. 그럼에도 비용 문제 때문에 몸 동작은 대역을 많이 쓴다고 한다.

딥브레인AI가 여에스더 박사의 AI 휴먼을 제작하기 위해 전용 스튜디오에서 촬영하고 있다.

사진은 딥브레인의 AI여에스더 제작 과정이다. 실제 모델을 전용 스튜디오에서 촬영하고 음성도 녹음한다. 딥브레인은 실시간 양방향 소통이 가능한 대화형 가상지능인만큼 다양한 작업들을 필요로 한다.

한 사람을 이렇게 AI휴먼으로 제작하는데 약 한 달의 시간과 5000만~1억원 상당의 비용이 든다. 한번 만들어 놓은 AI휴먼은 원하는 대사만 입력하면 바로 활용이 가능하다.

CG구현 방식이 더 보편적이라고 한다. 딥브레인AI 관계자는 "AI방식은 아직 3차원으로 구현이 어려워 주로 정면으로 촬영한다"고 설명했다.

한 편에서는 고도화, 다른 편에선 경량화

가상인간이 대중화되면서 일반 고객까지 활용 가능한 가상인간 제작 플랫폼도 만들어졌다. AI 가상인간 스타트업 클레온은 사진 한 장과 30초의 음성 데이터만으로 1분 내에 가상인간을 만들 수 있는 ‘클론’ 서비스를 운영한다. 클레온은 경량화을 내세우며 월 10만원으로 가상인간을 제작할 수 있는 구독서비스를 출시했다.

한편에선 기술 고도화에 주력하고 있다. 시각적 어색함을 줄이기 위해 최근엔 많은 업체들이 '실사기반형 휴먼'을 만들고 있다. 실제 사람의 얼굴과 유사하지만 세상엔 없는 얼굴을 한 가상 인간이다. 그래픽 제작방식이 아무리 정교해도 실사만큼 자연스럽기는 어렵다는 판단 때문이다.

디오비스튜디오의 ‘루이'는 딥페이크 기술을 활용해 만든 실사 기반의 가상 유튜버다. 일반적인 딥페이크가 현실에 있는 누군가의 얼굴을 합성하는 것과 달리 디오비스튜디오는 AI가 사람의 얼굴 데이터를 학습한 뒤 완전히 새 얼굴을 만들어내는 가상얼굴 생성 기술을 개발·적용했다고 한다.

가상인간 루이가 노래를 부르는 영상을 자신의 유튜브 채널 '루이디스커버리'에 올렸다. 유튜브 캡쳐

버추얼 걸그룹 이터니티(ETERNITY)도 실사 기반 가상인간이다. 이터니티는 AI 그래픽 전문기업 펄스나인이 실사형 가상 인물 생성 기술 '딥리얼 AI'로 제작됐다.

딥리얼 기술은 AI 알고리즘을 이용해 호감을 주는 얼굴을 직접 생성·합성하는 방식을 사용했다. 대역 모델의 동작에 다른 얼굴을 합성하는 딥페이크 방식과 유사하지만 기존인물이 아닌 만들어진 얼굴을 가진다는 점이 특징이다.

인간의 얼굴을 더욱 정교하게 묘사하도록 기술도 발전하고 있다. 게임사 크래프톤은 햇빛에 따라 동공 크기가 바뀌고, 얼굴의 솜털이나 머리카락까지 섬세하게 구현하는 '하이퍼 리얼' 가상인간을 제작중이라고 한다.

마인즈랩은 오는 6월 가상인간 ‘M2′를 출시할 계획이다. M2는 2D 영상뿐 아니라 3D 방식으로 보여질 수 있도록 가상·증강현실(VR·AR), 홀로그램 등의 기술과도 연동될 예정이다.

딥브레인AI도 실제 사람 얼굴을 한 AI휴먼을 올 하반기 출시 목표로 준비중이다. 기존에는 실제 사진과 모델의 얼굴을 합성하는 딥페이크 방식을 활용했다면 아예 전에 없던 새로운 얼굴을 만들겠다는 포부다.

가상 인간이 실제 인간의 모습에 점차 가까워지고 있지만 여전히 넘어야 기술적 장벽은 높다. 사람같은 외모뿐 아니라 생각 및 대화 능력, 다양한 동작 등 모든 것이 매끄럽게 구현돼야 하기 때문이다. 아직 실제 인간이라기 보다는 "'기획 콘텐츠' 개념에 가깝다"는 시선도 있다.

캐릭터, 스토리 등 기획력 필수

가상인간 모델을 원하는 기업들이 늘면서 가상인간 제작사들이 기획에도 공을 들이고 있다. 제작뿐 아니라 에이전시처럼 각 인물의 SNS 계정을 관리하고, 스토리라인을 짠다.

'10억 소녀' 로지도 인스타그램에서 일반인들과 같은 조건으로 시작해 팔로워 13만명을 모았다. 로지의 제작사 싸이더스스튜디오는 로지의 SNS를 관리하는 별도의 팀이 있는 것으로 알려졌다.

음반 발매, 드라마 출연 등 더욱 본격적인 활동을 하기위해서는 전문 엔터테인먼트의 도움이 필요하다. YG 엔터테인먼트는 스마일게이트의 버추얼 휴먼 '한유아'와 전속 계약을 맺었고 넷마블의 버추얼 휴먼 ‘리나’는 배우 송강호, 비 등이 소속되어 있는 연예 기획사 써브라임과 전속 계약을 맺었다.

AI 스타트업 도어오픈은 작년 11월 노아, 선우, 마리라는 가상인간 3명을 선보였다. 이들이 출연하는 웹드라마를 만들어 유튜브로 발표할 계획이라고 한다. 캐릭터 빌드업을 위해서다.

이종수 도어오픈 대표는 "각 브랜드의 이미지에 딱 맞는 가상인간을 만들라 하면 기술적으로 할 수 있지만 (그렇게 하면) 경쟁력이 부족하다"며 "외모가 중요한 게 아니라 캐릭터와 스토리를 만드는 작업이 핵심"이라고 강조했다.

동시에 '행사' 2건 뛰고 음주운전도 안해

디지털 세계에서 존재하는 가상인간은 시·공간의 제약을 받지 않는다는 장점이 있다. 동선과 상관없이 수많은 '행사'를 뛸 수 있고 각종 관리비도 실제 연예인 등에 비해 현격히 낮다.

당연히 '음주운전' 같은 논란을 일으키지도 않는다. 국내 가상인간 제작사들도 시장규모가 큰 글로벌 진출, 해외 수출을 목표로 하고있다.

글로벌에서 활약중인 가상 인플루언서들의 영향력은 막대하다. 가상인간 '루 두 마갈루'의 인스타그램 팔로워 수는 590만 명이다. 인플루언서 마케팅 허브는 마갈루의 SNS 게시물 1건당 수익이 1만달러~1만7000달러(약 1250만원~2100만원) 수준일 것이라고 추정했다.

300만명의 안스타그램 팔로워를 보유한 가상모델 릴미켈라는 2019년 한해에만 140억원 이상을 벌었다고 한다.

이들 가상인간의 시장성이 커지자 대기업과 스타트업이 협업하는 사례도 잇따르고 있다. 지난달 17일 KT가 딥브레인AI와 손을 잡은 것이 대표적이다. 양사는 가상인간 외모에 KT의 AI 탑재한 ‘기가지니 인사이드’를 개발할 예정이다.

네이버 역시 자이언트스텝과 협력해 자사 최초의 가상인간 ‘이솔(SORI)’을 공동 개발했다. 현대자동차는 클레온과 가상인간 기반의 차량 내 비서 서비스를 개발중이다. 신한은행과 협력해 전국의 지점장들을 AI휴먼으로 제작하는 것도 진행중이다.

참, 한가지 더

가상인간 직접 제작해봤더니...

한국경제신문 스타트업부 김종우 기자의 실제 사진. 클레온은 이 사진 한장과 기자의 30초짜리 음성파일로 자체 AI 휴먼을 구현했다.

월 10만원의 클론 유료버전으로 직접 기자의 AI 가상인간을 만들어봤다. 한경 긱스(Geesk)의 김종우 기자가 실험체가 됐다. 김 기자의 카카오톡 프로필 사진과 30초 가량의 음성 데이터를 보내자 10분 정도 후에 영상이 제작됐다. 음성을 합치지 않으면 1분 내로 가능하다고 한다. 10분 내외의 짧은 제작 시간 대비 괜찮은 수준의 결과물이 나왔다. 물론 실물이 더 낫다.

클레온은 스타강사 김미경을 AI휴먼으로 제작했다. 김미경 강사는 인터뷰에서 “AI휴먼 덕분에 매일 옷 입고 화장하고 촬영하는데에 들던 리소스를 줄일 수 있었다"며 “반복적인 일에 에너지를 쓰는 대신 강의 연구를 더 고도화하겠다”고 말했다고 한다.

클레온 관계자는 "가상인간이 인간의 단순, 반복적인 작업을 줄여줄 수 있다"며 "인간을 대체하는 게 아니라 부가가치가 더 높은 일에 전념할 수 있도록 도와주는 것"이라고 말했다.

최다은 기자 max@hankyung.com