"AI 상담이라고 욕했다간"…욕설 알아듣고 문맥 이해하는 SKT '텔코LLM'

SK텔레콤, 자체 거대언어모델 '텔코LLM' 6월 중 개발 완료
통신사 AI 고객센터·유통망·네트워크 운용 등 활용 가능
서비스 유형에 맞춰 골라 쓰는 '멀티LLM'

에릭 데이비스 SK텔레콤 인공지능(AI) 테크 콜라보레이션 담당이 텔코 LLM을 설명하고 있다./사진=유지희 기자

"텔코 거대언어모델(LLM)은 기본적인 LLM이 할 수 없는 맥락 파악이 가능하기 때문에 고객 맞춤 상담이 가능합니다."

에릭 데이비스 SK텔레콤 인공지능(AI) 테크 콜라보레이션 담당은 서울 중구 SKT타워에서 열린 '텔코LLM' 기자 간담회에서 "텔코LLM은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM"이라며 이같이 밝혔다.

SK텔레콤의 텔코LLM은 5세대(5G) 요금제, T멤버십, 공시지원금 등 국내 통신 전문 용어와 인공지능(AI) 윤리 가치 같은 통신사 내부 지침을 학습했다. 오는 6월 중 개발 완료될 예정이다.

데이비스 담당은 "한 개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라면서 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티LLM 전략"이라고 설명했다.

그는 텔코LLM의 장점에 대해 "대화 요약, 고객 의도 분석 등 범용 모델 대비 통신서비스를 전문적으로 수행할 수 있을뿐더러 원래 6개월 정도 걸리던 개발 기간을 절반 정도로 줄일 수 있다"며 "속도와 비용, 효율성의 밸런스(균형)를 맞췄기 때문에 범용 LLM 대비 우수하다"고 했다.

텔코 LLM 개념도/사진=SK텔레콤 제공

텔코LLM은 SK텔레콤 자체 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습했다. 앤트로픽 등과 협력해 통신사 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집해 정형·비정형 데이터를 선별한 다음 이를 에이닷엑스, ‘GPT’, '클로드'에 학습시켰다.

LLM을 구축하려면 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업이 우선이다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하고 휴먼 피드백 기반의 강화학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 작업이 이뤄진다. 이렇게 파인튜닝된 텔코LLM은 사람 피드백 기반의 강화학습 과정을 거치게 된다.

텔코LLM은 △고객센터 상담사 △마케팅 △인프라 어시스턴트 △스팸 필터링 업무 등 다양한 분야에서 다양하게 사용될 예정이다.

정민영 SK텔레콤 AI플랫폼 담당이 '텔코LLM'을 설명하고 있다./사진=유지희 기자

이어 발표자로 나선 정민영 SK텔레콤 AI플랫폼 담당은 "상담사가 통화 후 처리해야 하는 업무들이 시간상 비중이 작지 않은데 이 부분도 효율적으로 해결 가능하다"고 말했다. 그는 "상담 요약 시 텔코 LLM은 구어체를 비즈니스 용어로 만드는 작업을 해 요약에 있어서 고객이 무엇을 원했고 상담자는 뭐라고 했는지 한눈에 알아보기 쉽게 데이터화한다"고 부연했다.

고객센터에서 텔코LLM을 사용하다 부정확한 답변이 나올 경우 상담사들의 품질·만족도를 평가를 토대로 해당 영역 데이터를 추가 구축하는 파인튜닝 과정을 주기적으로 반복한다. 이를 통해 텔코LLM 성능을 계속 고도화하는 구조다.

특히 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있다. 우리나라에서 빠르게 생겨나는 신조어나 한국어 욕설, 위협 폭언 식의 문맥을 정확하게 파악할 수 있는 이유다.

정 담당은 "상담 관련 내용을 모니터링하면서 시스템이 적절할 때 개입해 상담사를 보호할 수 있는 시스템을 논의 중"이라며 "상담사 보호를 위해 LLM은 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스 등 사람의 자연어 의미 단위를 정확하게 이해하는 룰 베이스를 가지고 있어서 맥락적으로 쉽게 접근할 수 있는 부분이 있다"고 설명했다.

인텔리전스 플랫폼 개념도/사진=SK텔레콤 제공

SK텔레콤은 향후 인프라 운용 중에 발생하는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다. 통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 받아볼 수 있다.

정 담당은 "고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR과 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라면서 "텔코LLM을 활용한 사례를 늘려갈 계획"이라고 부연했다.

SK텔레콤은 통신사들이 생성형 AI 어플리케이션(앱)을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM과 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 일종의 기업용 AI 개발·운용 패키지다.

SK텔레콤 관계자는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무 특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 말했다.

유지희 한경닷컴 기자 keephee@hankyung.com