트랜스포머 모델의 구조도
트랜스포머 모델의 구조도
“어텐션만 있으면 돼(Attention is all you need).”

걸그룹 뉴진스의 데뷔곡 ‘어텐션’ 뮤직비디오 댓글에서 볼 법한 문장이지만 사실은 2017년 12월 발표된 기념비적인 인공지능(AI) 논문의 제목이다. 여기서 말하는 어텐션은 AI의 학습을 위한 딥러닝 방식 중 하나다. 인간의 집중(attention)을 따라 하는 데 초점을 맞췄다. 사람은 사진을 볼 때 중요한 피사체와 그렇지 않은 피사체를 직관적으로 파악한다. 하지만 기계는 그렇지 못하다. 어텐션 기능을 쓰면 이 같은 상황에서 특정 사물을 더 집중해서 받아들인다.

2015년 어텐션이란 개념이 처음 나왔을 때는 기존 학습 방식인 순환 신경망(RNN)의 성능을 높이기 위한 용도로 활용됐다. 하지만 2017년 공개된 논문은 어텐션 방식만을 활용한 새로운 AI 알고리즘을 제안했다. 바로 ‘트랜스포머’다. RNN은 주어진 정보를 순차적으로 처리한다. 반면 트랜스포머는 전체 데이터를 한꺼번에 받아들이는 병렬 구조를 채택했다. 어텐션 메커니즘을 통해 집중이 필요한 정보에 초점을 맞출 수 있다. 입력 정보와 관련성이 높은 결과를 출력하는 것은 물론 대량의 데이터를 효율적으로 다룰 수 있다.

생성 AI 밑거름 된 '트랜스포머'

[이승우의 IT인사이드] 구글의 시대와 '코닥 모멘트'
트랜스포머의 등장은 80년 가까운 AI 역사에서 중요한 사건으로 손꼽힌다. 그동안 AI가 정복하기 어렵다고 여겨졌던 자연어 처리 분야에서 획기적인 진전이 이뤄졌다. 방대한 양의 데이터를 학습시킬 수 있게 되면서 초거대 AI가 가능해졌다. 미국 스탠퍼드대 연구진은 2021년 한 논문에서 트랜스포머를 ‘파운데이션 모델’이라고 칭했다. 트랜스포머가 AI의 패러다임을 바꾼 기반이란 의미에서다.

현재 전 세계에서 돌풍을 불러일으킨 생성 AI는 모두 트랜스포머를 기반으로 하고 있다. 가장 유명한 오픈AI의 초거대 AI ‘GPT-4’는 ‘사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)’의 약자다. 언어는 물론 이미지, 영상, 음악 등 다양한 분야의 생성 AI에 트랜스포머가 사용된다.

구글, 노키아·소니 전철 밟나

트랜스포머 논문을 쓴 것은 다름 아닌 구글이다. 트랜스포머뿐만이 아니다. 구글은 AI 분야에서 가장 기술력이 뛰어난 기업으로 유명하다. 이세돌을 꺾은 알파고를 개발한 것도 구글의 또 다른 AI 연구조직 딥마인드다.

정작 현재 AI를 떠올릴 때 사람들이 먼저 생각하는 기업은 챗GPT를 만든 오픈AI, 그리고 오픈AI에 대대적으로 투자한 마이크로소프트다. 구글은 AI 도입에 신중한 모습을 보였지만 챗GPT가 인기를 끌자 AI 챗봇 서비스 ‘바드’를 서둘러 출시하는 등 뒤따라가는 모습을 보이고 있다.

최근 데이터 분석 업체 글로벌데이터의 애널리스트 사이러스 메와왈라는 미국 CNBC와의 인터뷰에서 “구글이 ‘코닥 모멘트’에 빠졌다”고 지적했다. 코닥 모멘트는 변화에 대응하지 못해 실패한 기업을 지적할 때 쓰는 관용구다. 코닥은 1975년 세계 최초로 디지털카메라 기술을 개발했지만 기존 사업에 손해가 될 수 있다는 이유로 변화에 소극적이었다. 결국 2012년 파산했다. 스마트폰 시대에 적응하지 못한 노키아, 워크맨에 안주한 소니 등도 마찬가지다. 코닥 모멘트는 기존 주도권 기업보다 신생 업체가 격변기 생존에 유리하다는 교훈을 주기도 한다.

구글은 1998년 창업 이후 검색 기술로 세계 정보기술(IT) 시장을 주도했다. 정보의 검색과 활용이 중요한 정보화 시대의 상징과도 같은 존재다. 챗GPT의 등장은 검색의 시대가 끝나간다는 신호탄이다. 구글이 커다란 몸집을 이끌고 새 시대로 갈아탈 수 있을지도 흥미로운 구경거리다.