브래드 피트 얼굴, 1초만에 '내 것'으로…삼성의 놀라운 기술 [선한결의 IT포커스]

삼성 AI연구소 '메가포트레이트' 모델 공개
AI 기술로 실시간 가상 아바타 제작
"누구나 연예인·캐릭터 아바타 쓸 수 있는 것도 문제" 우려도

은행 상담사, 배우, CF모델…버추얼휴먼(가상인간)의 활용도가 갈수록 늘고 있습니다. 버추얼휴먼 제작 기술도 고도화하고 있는데요. 각 기업들이 공들이는 주요 기술 중 하나가 정지된 2차원(2D) 이미지 정보만으로 3차원(3D) 이미지나 영상을 만드는 렌더링 기법입니다. 이를 통하면 사진 한 장으로 실제 사람 같은 가상인간을 만들 수 있습니다.

최근엔 삼성 AI연구센터에서 이같은 렌더링 기술 논문이 나왔습니다. 정지된 이미지를 기반으로 움직이는 실제 같은 고화질 ‘뉴럴 아바타’ 영상을 만들 수 있는 AI 모델을 제시한 게 주요 내용입니다.

뉴럴 아바타는 AI 기술을 활용해 2D 정보를 기반으로 만든 3D 아바타를 뜻합니다. 삼성은 이 기술을 수년간 꾸준히 연구하고 있는데요. 2020년엔 삼성AI포럼에서 뉴럴 아바타를 공개하기도 했습니다. 세계 일곱 곳에 퍼져 있는 삼성 AI연구센터 중 러시아 모스크바센터가 이 연구를 주도하고 있습니다. 삼성은 서울, 미국 실리콘밸리·뉴욕, 영국 케임브릿지, 캐나다 토론토·몬트리올 등에도 AI연구센터를 세워 기술 연구를 하고 있습니다.

삼성 AI 연구진은 논문에서 고화질 이미지 데이터와 중화질 영상 데이터를 합쳐 새로운 아바타 영상을 만드는 법을 소개했습니다. 중간 화질 영상을 학습한 모델이 고해상도 이미지 데이터를 활용해 고화질(1024x1024) 아바타를 만드는 게 특징입니다. 연구진은 이 기법에 ‘메가픽셀 포트레이트(메가포트레이트)’라는 이름을 붙였습니다.

이는 움직이는 영상을 새로 합성하기 위해 많은 이미지 데이터가 필요한 대부분의 기존 방식보다 훨씬 쉽습니다. 합성 이미지 재료로 정면을 보는 상반신 사진 딱 한 장만 있으면 됩니다.

이에 따르면 AI 모델이 영상 데이터에서 얼굴 움직임과 표정 등을 추출·학습해 ‘드라이버 프레임’을 만듭니다. 눈웃음, 찡그림, 끄덕임 등을 표현할 때 각각 어떤 그래픽을 써야 하는지 기본 뼈대를 여럿 확보해 놓는 과정입니다.

이 ‘뼈대’에 AI가 이미지 데이터를 바탕으로 파악한 아바타 외형을 더하면 움직이는 영상 아바타가 나옵니다. 일부 빈 정보는 AI 알고리즘이 채우기도 합니다. 아바타가 고개를 돌리는 장면을 구현하기 위해 정면을 보고 있는 원본 사진에 나오지 않았던 옆얼굴 그래픽을 만들어내는 식입니다.

삼성 메가포트레이트의 원리는 이렇다고 합니다 @.@ 삼성AI연구센터 연구진 제공

연구진은 뉴럴 아바타의 시선 그래픽을 개선해 보다 실감나는 가상인간을 구현하는 기법도 개발했습니다. 기존 가상인간 그래픽이 아직 실제와 가장 다르다고 지적받는 눈빛을 보다 생동감있게 표현하기 위해서입니다.

메가포트레이트는 AI가 핵심 내용만 압축해 모델을 경량화하는 지식 증류 기법도 활용합니다. 특정 영상을 학습해 표정과 움직임 등을 새로운 이미지에 빠르게 적용할 수 있도록 하기 위해서입니다. 이를 통하면 전·후처리 작업이 없이도 실시간으로 가상 아바타 영상을 만들 수 있습니다.

연구진은 이를 적용한 사례로 한 남성의 영상이 영화 배우나 서양화 인물 등의 외양에 적용된 모습을 시연했습니다.

삼성리서치는 앞서 뉴럴 아바타가 줌이나 팀즈 등 화상회의에서 쓰일 수 있을 것으로 전망했습니다. IT업계에선 이 기술이 AR·VR 기반 메타버스에서도 쓰일 수 있을 것으로 보고 있습니다.

가상 세계의 아바타가 실제 이용자가 말할 때 입모양까지 실시간으로 구현한다면 훨씬 실감나는 상호작용을 할 수 있습니다. 가상 오피스가 실제 사무실을 완전히 대체할 수 있을 정도로 메타버스가 고도화할 수 있다는 얘기입니다.

일각에선 이같은 기술이 보편화 될 경우 초상권 침해나 '딥페이크' 기반 가짜뉴스, 로맨스 스캠(온라인 연인 관계를 빙자한 사기) 등의 부작용이 늘어날 것이라는 우려도 있습니다.

누군가가 온라인에서 전혀 다른 사람인 척 하면서 남들을 속일 수 있다는 건데요. 기존엔 전화·채팅 사기에 그쳤던 것들이 영상 기반으로까지 퍼질 수 있다는 경고입니다. 특히 요즘은 SNS나 메신저를 통해 다른 이의 사진을 쉽게 구할 수 있어 이같은 문제가 빠르게 확산할 수 있습니다.

작년 3월 틱톡에 올라온 톰 크루즈 딥페이크 영상.

작년엔 할리우드의 인기 배우 톰 크루즈의 얼굴을 합성한 딥페이크 영상이 SNS 플랫폼 틱톡에 올라와 화제를 끌기도 했습니다. 실제로는 톰 크루즈와 전혀 관계가 없는 인물이 만든 영상입니다. 한 IT 기업 관계자는 "기술을 개발하는 기업들도 가상 인간이 확산하면서 나올 수 있는 윤리적·법적 문제에 대응하기 위해 많은 대책을 강구하고 있다"고 말했습니다.

선한결 기자 always@hankyung.com