더 실감나는 AR·VR, 3차원 홀로그램…'메타버스 빅뱅'이 온다

대전환 2022 - 글로벌 퓨처테크 현장을 가다
(9·끝) '최첨단 홀로그램 개발' 美 스탠퍼드대 이미징랩

가상세계 몰입도 높이기 위해
수많은 이미지 끊임없이 생성
움직이는 홀로그램 눈앞에

메타, 지난해에만 12조 투자
MS, 美 국방부와 AR 개발

하드웨어·콘텐츠 융합 시급한데
한국 아직도 단편적 투자 머물러

미국 스탠퍼드대 ‘컴퓨테이셔널 이미징 랩’ 소속 연구원들이 증강현실(AR)·가상현실(VR) 기기 시제품을 작동하고 있다. 스탠퍼드대 제공

‘DANGER BEAM ACCESSIBLE(레이저빔 접촉 위험).’ 지난 5일 미국 스탠퍼드대 전자공학관 지하 1층에 있는 컴퓨테이셔널 이미징랩. 입구에 들어서자 붉은 경고등이 눈에 들어왔다. 이 대학의 고든 웨츠슈타인 컴퓨터공학과 교수와 연구진이 최첨단 홀로그램 기술을 개발하는 곳이다. 레이저 기기와 렌즈 등이 복잡하게 연결된 프로토타입(시제품) 두 대가 쉼 없이 돌아가고 있었다. 웨츠슈타인 교수 팀은 현실과 가상의 경계가 사라진 메타버스 세상을 구현할 개척자로 꼽힌다. ‘스타트렉’ 같은 영화에서나 가능할 것으로 여겨졌던 움직이는 홀로그램 기술을 상용화하는 데 가장 근접해 있는 것으로 평가받고 있다. 기존 연구보다 화질을 열 배 이상 높인 것으로 알려졌다.

현실·가상 경계 무너뜨리는 홀로그램

홀로그램은 레이저와 디스플레이를 활용해 사물을 3차원 형태로 보여주는 기술이다. 스탠퍼드대 이미징랩은 박물관에서 흔히 보던 정적인 이미지의 홀로그램을 동적인 콘텐츠로 바꾸는 데 주력하고 있다. 이달 초 만난 웨츠슈타인 교수는 “머신러닝을 통해 수천 개의 이미지를 반복해 인식하는 방식”이라고 설명했다.

현실화된다면 메타버스의 미래를 훨씬 앞당길 것으로 예상된다. 가상현실(VR), 증강현실(AR) 기기가 메타버스 세계에 진입하기 위한 관문이라면 홀로그램 기술은 몰입도를 획기적으로 높일 수 있는 핵심 인프라다. 김영민 서울대 전기공학부 교수는 “현실과 가상에서의 경험을 구분하는 것이 무의미해지는 순간이 본격적인 메타버스의 시작점”이라고 말했다.

글로벌 정보기술(IT)업계가 스탠퍼드대 이미징랩에 주목하는 이유는 새로운 이미지를 효율적으로 생성할 수 있는 콘텐츠 알고리즘과 이를 VR 기기에 구현하도록 해주는 하드웨어 기술을 융합하고 있어서다. 웨츠슈타인 교수는 “머신러닝과 인간의 뇌를 모방한 뉴럴 네트워크, 컴퓨터 비전 등의 방법론을 적용한 새로운 디스플레이를 개발하고 있다”고 소개했다. 자율주행차에 적용되는 컴퓨터 비전 기술로 수천, 수만 장의 이미지를 확보해 이를 머신러닝 기법으로 연산(생성)한 뒤 빠르게 전송해 VR 기기에 띄울 수 있다는 설명이다.

“진짜 AR·VR 시대 도래”

보스턴컨설팅그룹(BCG)이 유럽 10대 부문 204개 글로벌 기업의 경영진을 대상으로 실시한 설문조사(작년 11월 발표)에서 응답자들은 가장 파괴적인 딥 테크놀로지(심층 기술)로 인공지능(AI), 블록체인과 함께 AR·VR을 꼽았다. “이번에야말로 기술이 실제로 성공할지도 모른다”는 인식이 확산하면서 생태계 선점을 위한 투자 전쟁이 벌어지고 있다는 것이다.

메타(옛 페이스북)는 2020년 AR·VR 디바이스와 소프트웨어 개발을 전담하는 ‘리얼리티 랩(Reality Labs)’을 출범시켰고, 지난해 약 12조원을 쏟아부었다. 미 국방부는 마이크로소프트(MS)의 혼합현실(MR) 기기 ‘홀로렌즈’에 기반한 전투용 AR 기기 개발에 25조원을 들이며 산업 발전을 간접 지원하고 있다. 글로벌 컨설팅 기업 PwC에 따르면 2030년 AR·VR 시장 규모는 1조5429억달러로 커질 전망이다. 이병호 서울대 공과대 학장(전기공학부 교수)은 “먼저 기술 완성도를 높이는 쪽이 시장을 선점할 것”이라고 말했다.

전문가들은 상용화의 ‘골든 타임’이 얼마 남지 않았다고 입을 모은다. 최근 몇 년 사이에 통신, AI 등 기반 기술 수준이 비약적으로 발전하면서 AR·VR 기기의 평균 가격이 1991년 41만달러에서 2020년 2만달러 수준으로 떨어졌기 때문이다. 2030년에는 1700달러까지 내려갈 전망이다.

메타버스는 첨단기술 결합체

국내 현실은 암담하다는 게 전문가들의 지적이다. AR·VR 등 하드웨어 제조만 해도 첫걸음조차 떼지 못하고 있다. 대기업 중 유일하게 삼성전자가 2015년 VR 디바이스인 ‘기어VR’을 처음 내놨지만, 부진한 실적으로 2019년 11월 생산을 중단했다. 최연철 전기통신산업진흥원(NIPA) 디지털콘텐츠산업본부장은 “국내에서 VR 기기 분야의 글로벌 경쟁력을 갖춘 기업은 사실상 없다”며 “AR 기기도 래티널, 피엔씨솔루션 등 스타트업이 부분 기술을 갖고 있을뿐”이라고 했다.

전문가들은 기술 융합이 AR·VR 기술 발전의 핵심이라고 조언한다. 우운택 KAIST 문화기술대학원장은 “미래 모든 기술은 데이터가 핵심”이라며 “하나의 둥지 아래 기술들이 발전해야 기술 연계 과정에서 데이터가 모일 수 있고 기술 간 상호 발전을 이끌어낸다”고 설명했다.

구글, 메타 등 빅테크들이 막대한 자본력을 바탕으로 메타버스 종합 기술 기업으로 전환하고 있는 것도 이런 배경에서다. 메타는 메타버스 플랫폼 ‘호라이즌’을 운영하면서 차세대 VR 기기인 ‘프로젝트 캠브리아’를 개발 중이다. 우 원장은 “네이버는 플랫폼만, 통신사는 통신만, 엔터테인먼트사는 콘텐츠만 하는 등 한국은 각자 자기가 잘하는 분야에만 집중하는 경향이 있다”며 “종합적으로 기술을 묶어내는 생태계가 절실하다”고 말했다.

팰로앨토=황정수 특파원/구민기 기자

■ 특별취재팀

이건호 편집국 부국장(취재팀장) 김현석 뉴욕·황정수 실리콘밸리 특파원 박동휘 생활경제부 차장, 강경민 산업부 임현우 금융부, 이지훈 경제부 박재원 증권부, 구민기 IT과학부 김리안 국제부, 차준호 마켓인사이트부 정지은·최한종 지식사회부 기자 hjs@hankyung.com