사진=KT
사진=KT
KT가 500개가 넘는 국내외 인공지능(AI) 모델을 한곳에서 골라 쓰고 사용량과 비용까지 관리할 수 있는 플랫폼을 내놓는다. 업무 성격에 맞는 AI 모델을 자동으로 선택하고 프롬프트를 압축해 토큰 사용량을 최대 25% 줄이는 기능도 적용했다.

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 AI 플랫폼 'KT 토큰팩토리(Token Factory)'를 공개했다. 오는 30일 기업 고객을 대상으로 서비스를 시작하고 향후 이용 대상을 확대할 계획이다.

토큰팩토리는 여러 AI 모델을 각각 구독하거나 별도 환경에서 관리할 필요 없이 가입부터 모델 선택, 사용량 확인, 비용 관리, 결제까지 한곳에서 처리할 수 있도록 설계됐다.

최근 기업들이 번역·요약·코딩·추론 등 업무별로 서로 다른 AI 모델을 함께 사용하면서 모델별 이용량과 비용을 통합 관리해야 할 필요가 커졌다는 게 KT의 설명이다. 토큰은 AI가 질문과 문서, 코드 등을 처리하고 답변을 만드는 기본 단위로 사용량과 비용을 결정하는 기준으로 활용된다.

업무 따라 AI 자동 선택…토큰 사용 최대 25% 줄여

사진=KT
사진=KT
핵심 기능은 KT가 자체 개발한 '오토 모델 라우터'다. 사용자가 입력한 질문의 업무 유형과 난이도, 요구 품질, 비용 등을 분석해 적합한 AI 모델을 자동으로 선택한다.

단순 업무에는 상대적으로 가벼운 모델을, 복잡한 분석에는 고성능 모델을 연결하는 식이다. KT는 이 기술이 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 'RouterArena'에서 종합 1위를 기록했다고 밝혔다.

프롬프트 압축 기술도 적용했다. 한국어 특성을 고려해 반복 표현 등 불필요한 부분을 줄이면서 질문의 의미와 응답 품질은 비슷하게 유지해 입력 토큰을 줄이는 방식이다.

KT는 모델 자동 선택과 프롬프트 압축 기능을 함께 활용하면 AI 이용에 필요한 토큰을 최대 25% 절감할 수 있다고 설명했다.

토큰팩토리는 국내외 500개 이상의 AI 모델을 제공한다. KT는 글로벌 AI 게이트웨이·모델 마켓플레이스 업체 오픈라우터(OpenRouter)와 국내에서 처음 공식 파트너십을 맺고 글로벌 AI 모델을 플랫폼에 연동했다.

국내서 AI 추론…기업 데이터 해외 유출 우려 낮춰

사진=KT
사진=KT
기업의 데이터 보안 수요를 겨냥한 기능도 넣었다. KT는 한국 내 데이터센터에서 직접 AI 추론 서비스를 제공해 해외 AI 서비스 이용 과정에서 발생할 수 있는 데이터 주권 우려를 줄인다는 계획이다.

KT 자체 AI 모델과 국내외 오픈웨이트 모델 등을 국내 인프라에서 이용할 수 있도록 구성했다. 기업이 입력하는 프롬프트의 개인정보·민감정보와 유해 표현을 점검하고 AI가 생성한 답변도 가드레일 기술로 검사한다.

향후에는 기업별 업무 환경과 보안 수준에 따라 어떤 정보를 탐지하고 차단할지 세부적으로 설정할 수 있도록 기능을 확대할 예정이다.

출시 초기에는 여러 AI 모델을 함께 사용하면서 비용을 통합 관리하려는 기업 고객을 대상으로 서비스를 제공한다. 이후 기업과소비자간거래(B2C) 영역으로 서비스 범위를 넓힐 방침이다.
사진=KT
사진=KT
KT는 오픈라우터 외에도 AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 업체 타임리 등과 협력을 확대할 계획이다. 업스테이지 등 '모두의 AI' 컨소시엄 참여사들과도 AI 인프라부터 모델·서비스까지 연결하는 생태계를 구축한다는 구상이다.

박상원 KT AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하겠다"고 말했다.

홍민성 한경닷컴 기자 mshong@hankyung.com