정보기술(IT) 업체들이 올해 신사업으로 잇따라 ‘인공지능(AI) 오케스트레이션’을 밀기 시작했다. AI 오케스트레이션은 여러 업무에 쓰이는 AI 도구를 통합 관리하는 절차다. 빅테크들은 업무별로 제각각인 AI 서비스를 한 번에 관리할 수 있는 통합 솔루션을 통해 업무 효율화 도구 시장의 주도권을 잡으려 하고 있다.

○ ‘AI 군단’ 통제하는 에이전트 나왔다

IT업체, 사내 AI 서비스 통합관리 '오케스트레이션' 속도 낸다
아마존웹서비스(AWS)는 지난달 ‘아마존 베드록 에이전트’를 공개했다. 이 서비스는 아마존의 AI 솔루션 공급 플랫폼인 ‘아마존 베드록’에서 쓰이는 AI 비서(에이전트) 역할을 한다.

이 서비스의 핵심은 여러 에이전트를 통합 관리하는 ‘슈퍼바이저 에이전트’다. AWS는 에이전트들을 관리하는 상위 에이전트를 만들어 이용자가 오케스트라의 지휘자처럼 여러 AI 도구들을 한눈에 조율할 수 있도록 했다.

아마존 베드록 에이전트를 활용하면 이용자는 복잡한 코딩 지식 없이도 몇 분 안에 업무별 AI 에이전트를 만들 수 있다. 이 에이전트들을 연결해 전체 작업을 관리하는 것도 가능하다. 이미 신용평가기관인 무디스가 AWS의 솔루션을 활용해 사업 위험 평가 분석에 쓸 수 있는 에이전트를 개발했다.

AWS는 생성 AI 서비스의 안전성을 검증하는 솔루션인 ‘아마존 베드록 가드레일’도 공급해 기업들의 AI 에이전트 적용을 다각적으로 지원하고 있다.

AI 오케스트레이션 시장은 생성 AI 기술 확산과 흐름을 같이할 전망이다. 시장조사업체인 아이마크그룹은 이 시장 규모가 2023년 72억1000만달러(약 10조5900억원)에서 2032년 374억1000만달러(약 54조9200억원)로 9년 새 5배 이상 커질 것으로 내다보고 있다. 업무에 적용할 AI 서비스와 처리해야 할 데이터의 양이 늘면서 이들을 통합 관리하는 솔루션에 대한 기업들의 수요가 늘 것이란 예상이다.

○ MS·유아이패스·세일즈포스도 참전

IT업체, 사내 AI 서비스 통합관리 '오케스트레이션' 속도 낸다
다른 기업들도 AI 오케스트레이션 솔루션을 내놓고 있다. 마이크로소프트는 지난해 11월 자체 행사인 ‘이그나이트 2024’에서 AI 솔루션을 통합 관리할 수 있는 플랫폼인 ‘애저 AI 파운드리’를 선보였다. 이 플랫폼을 통해 기업들은 AI 솔루션을 설계할 수 있다. 마이크로소프트는 프로그래밍 도구인 깃허브, 코파일럿 스튜디오 등을 통해서도 애저 AI 파운드리를 활용할 수 있도록 했다.

유아이패스는 지난달 AI 에이전트 제작 솔루션인 ‘에이전트 빌더’의 공개 평가를 시작했다. 에이전트 빌더는 전자송장, 재고관리, 고객 대응 등 업무별로 쓸 수 있는 AI 에이전트의 생성 및 관리 기능을 제공한다. 이렇게 만든 에이전트가 로봇 프로세스 자동화(RPA) 소프트웨어를 쓰도록 명령하는 것도 가능하다. AI가 AI에 일을 시키는 구조를 만들 수 있단 얘기다.

세일즈포스도 지난달 업무 맞춤형 에이전트 생성 플랫폼인 ‘에이전트포스 2.0’을 공개했다. 오픈소스 플랫폼 업체인 레드햇도 AI 오케스트레이션 솔루션을 지원하고 있다.

국내 IT 업체들도 오케스트레이션 사업에 힘쓰고 있다. LG CNS는 물류·공장 자동화 시스템 구축에 AI 오케스트레이션 기술을 접목했다. 공정 최적화나 유통망 관리 등에 쓰이는 AI 서비스들을 조율해 업무 효율을 끌어올리는 식이다. SK C&C와 삼성SDS도 업무별 AI 서비스를 공급하는 플랫폼을 운용하고 있다.

카카오는 AI 솔루션 시장에서 성과를 내기 위해 모델 오케스트레이션 전략을 쓰고 있다.

이 전략은 서비스별로 효율적인 AI 모델을 골라 쓰는 방식이다. 사업 비용을 아끼고 작업 속도를 끌어올리기 위해 자체 대규모언어모델(LLM)뿐 아니라 외부 업체의 LLM도 적극적으로 활용한다.

이주현 기자 deep@hankyung.com