눈에는 눈, AI에는 AI…'딥페이크 저격수' 뜬다

쫓고 쫓기는 '딥페이크 전쟁'

어떻게 만드나
생성AI·판별AI 반복 학습으로 점점 정교하게

생성 인공지능(AI) 기술을 활용한 이미지 합성 기술인 딥페이크가 AI의 전쟁터가 됐다. 딥페이크를 활용한 음란물과 가짜뉴스가 범람하자 딥페이크 콘텐츠를 검출하려는 기술 업체와 가짜 콘텐츠의 사실성을 높이려는 기술 업체 간의 머리싸움이 치열해지고 있다. AI가 그럴듯한 영상을 내놓으면, 다른 AI가 이를 포착하고, 또 다른 AI가 탐지를 피하기 위해 더 정교한 영상을 내놓는 구도가 계속되는 모습이다.

AI 경쟁 붙여 진짜 같은 사진 제작

30일 정보기술(IT) 업계에 따르면 현재 널리 쓰이는 딥페이크 기술은 ‘적대적 생성 신경망(GAN)’이다. GAN은 가짜 콘텐츠를 만드는 생성 AI와 이 콘텐츠의 사실 여부를 가리는 판별 AI로 이뤄진다. 생성 AI는 진짜 이미지를 참고해 실제와 비슷한 가짜 사진을 만들어낸다. 이후 판별 알고리즘을 적용한 AI가 각도, 색상 등의 정보를 파악해 이 이미지가 진짜 이미지와 얼마나 유사한지를 평가한다.

참고할 진짜 사진과 작업 결과물이 늘수록 딥페이크는 정교해진다. 판별에 걸리지 않으려는 AI와 판별해내려는 AI가 서로 적대적으로 학습하면서 점점 실제와 비슷한 이미지가 탄생한다. 여러 이미지에서 눈, 코, 입 등의 윤곽에서 나타나는 패턴을 파악하는 기술인 ‘합성곱 신경망(CNN)’도 딥페이크에 쓰인다. 이미지를 훑고 지나가는 색상별 필터를 씌워 AI가 픽셀별로 주변 픽셀과의 색상 차를 파악하는 원리다.

딥페이크가 세상에 알려진 건 2017년이다. 미국 웹사이트인 레딧에서 닉네임이 ‘딥페이크스(deepfakes)’인 이용자가 영화 ‘원더우먼’의 배우인 갈 가도트의 얼굴을 포르노 배우에 합성한 편집 영상을 올린 게 그 시작이었다. 레딧은 딥페이크를 주제로 한 내부 커뮤니티에 9만 명이 몰리면서 음란물 유포 문제가 커지자 2018년 이 커뮤니티를 차단했다. 유명인이나 미술품에 딥페이크 기술을 적용한 이미지를 공유하는 게 온라인 커뮤니티의 놀이 문화로 자리 잡기도 했다. 버락 오바마 전 미국 대통령, 도널드 트럼프 전 미국 대통령, 프란치스코 교황 등도 딥페이크 사진과 영상으로 곤욕을 치렀다.

심박수 재는 원리로 딥페이크 가린다

딥페이크를 걸러내려는 기술 업체들은 생성 AI가 만들어낸 콘텐츠의 어색함을 발견하는 데 초점을 맞춘다. AI는 눈코입과 머리카락 등으로 생기는 음영을 처리하는 데 완벽하지 못하다. 특히 영상에서 눈꺼풀의 떨림이나 눈 깜빡임, 말할 때의 입술 모양 등을 자연스럽게 구현하는 데 미숙하다. 빛의 변화로 인한 동공의 확장도 섬세하게 표현하지 못한다. 고해상도 이미지나 영상일수록 AI의 어색함은 두드러진다.

검출 기술은 AI가 만든 콘텐츠의 어색함을 유형화하고자 CNN을 활용한다. 딥페이크가 실제 사람의 윤곽을 모방하는 데 쓴 기술이 검출 기술에서도 그대로 적용된다. 가짜 이미지와 진짜 이미지를 나란히 학습시켜 분류 정확도를 높이는 방식이다. 어디에서 어색함을 찾는지는 업체별로 내놓는 검출 기술마다 다르다. 딥페이크가 머리를 포함한 얼굴 전체가 아니라 눈, 코, 입 등 얼굴의 일부만을 바꿔치기한다는 점을 파고들어 바뀐 부분과 그렇지 않은 부분 간의 변화를 탐지하는 방식도 있다. 이미지나 영상 파일의 메타 데이터를 분석해 편집이 이뤄졌는지를 파악하는 방법도 가능하다.

인텔이 2022년 출시한 영상 딥페이크 탐지 기술인 ‘페이크캐처’는 영상 속 얼굴 표면에 드러나는 정맥 색의 변화를 1000분의 1초 단위로 감지한다. 심장이 뛸 때마다 정맥의 색이 미세하게 바뀐다는 점을 노렸다. 얼굴 혈류를 탐지하는 기술은 파리올림픽에서 양궁 선수들의 심박수를 원격 측정하는 데 쓰이기도 했다. 국내에선 AI 스타트업 딥브레인AI가 10분 이내에 딥페이크 적용 여부를 가려주는 탐지 솔루션을 공급하고 있다. 샌즈랩도 LG유플러스, 포티투마루, 로그프레소, KAIST 등과 협업해 생성 AI 역기능 억제 기술을 개발하고 있다. 정부도 딥페이크 탐지·억제 기술 개발에 내년 20억원을 투입하기로 했다.

다만 기술적으론 딥페이크 콘텐츠를 완전히 걸러낼 수 없다는 게 업계의 중론이다. 콘텐츠 생성량이 쌓이면서 딥페이크의 품질도 향상되고 있어서다. 업계에선 현재 상용화된 딥페이크 검출 기술들의 정확도를 80% 안팎으로 추정한다.

의료 분야에선 딥페이크 선용

딥페이크 제작 단계에서부터 가짜 콘텐츠를 구별할 수 있도록 하려는 시도도 계속되고 있다. 맨눈으로 알 수 없는 워터마크를 사진이나 영상에 심는 방식이다. 구글과 오픈AI는 지난 2월 이미지 생성 기능에 워터마크를 적용했다. 메타도 워터마크 부착을 추진하고 있다. 다만 처음부터 악용할 목적으로 딥페이크 제작 플랫폼을 공급하는 업체가 있다면 워터마크는 무용지물이다.

의료, 문화처럼 딥페이크가 유익하게 쓰이는 분야도 있다. 지난해 11월 김기덕 연세대치과대학병원 통합치의학과 교수 연구팀은 GAN을 적용해 치아 신경망 사진의 품질을 개선한 연구 결과를 국제 학술지인 사이언티픽 리포트에 게재했다. 대만 타이베이의학대에선 표정 파악이 어려운 환자들의 영상에 딥페이크를 적용해 의사의 진찰 역량을 끌어올리기도 했다.

딥페이크는 고인의 생전 모습을 재현하는 데도 쓰인다. 유관순 열사, 안중근 의사 등 애국선열의 사진을 영상으로 구현하는 경우가 대표적이다. 범죄자를 색출하거나 테러범을 차단하는 등 신원 확인 작업도 딥페이크를 통해 정확도를 높일 수 있다.

이주현 기자 deep@hankyung.com