'일진녀' 찾는 1020 수십만 몰렸다…"음란대화 방지에 총력"
입력
수정
제타, 가입자 수 100만명 돌파
1020세대 가입자만 87% 차지
선정성·폭력성 캐릭터 사전 차단
필터링 통해 부적절 대화 방지
삼진아웃제 등 추가 조치도 병행
29일 업계에 따르면 제타 운영사 스캐터랩은 윤리 원칙을 준수하는 AI 서비스를 제공하기 위해 다양한 보완 대책을 시행 중이다. 실제로 '어뷰징 탐지 모델'과 '키워드 필터링 시스템'을 도입해 부적절한 대화를 차단하는 데 주력하고 있다. 어뷰징 탐지 모델은 부적절한 발화와 상황, 맥락을 AI가 탐지하고 관련 대화를 차단한다. 키워드 필터링 시스템은 대화 도중 부적절한 키워드를 감지해 대화를 차단하는 데 활용된다. 스캐터랩은 이를 통해 AI가 사용자와 부적절한 대화를 나누지 못하도록 방지한다.
AI 챗봇 캐릭터를 생성할 때도 키워드 필터링 시스템이 활용된다. 제타 플랫폼 내에선 사용자가 직접 AI 챗봇을 제작할 수 있다.
필터링 시스템은 사용자가 캐릭터 생성 과정에서 선정성·폭력성·혐오성 등이 포함된 프롬프트나 부적절한 이미지를 등록하려고 시도하면 이를 자동으로 거부한다. 또 이미 제작된 캐릭터에 대해선 내부 기준을 토대로 사람이 직접 모니터링을 진행한다. 기준에 위배되는 상황이 포착되면 캐릭터 삭제, 사용자 차단 조치를 단행한다.제타는 이 외에도 삼진아웃제, 비상 대응 시스템 등을 도입했다. 외부 모니터링 업체와도 협업 중이다.
제타는 이달 초 가입자 100만명을 넘어섰을 정도로 인기다. 전체 가입자의 87%가 10~20대 사용자일 정도로 젊은층에서 인기를 누린다다. 반면 30대는 7%, 40대 이상은 6%로 나타났다. 성별로는 여성 사용자 비중이 65%로 남성(35%)보다 많았다.
이달 기준으로 제타 내에 제작된 캐릭터 수는 140만여개, 사용자들의 하루 평균 이용시간은 약 130분으로 파악됐다. 제타 사용자들이 지난 한 달간 입력한 대화 건수는 약 9억7000만건. 제타 인기 캐릭터인 '일진녀 수현'과의 대화는 이날 기준으로 약 1억건에 달한다.제타는 사용자가 자신의 취향을 담은 AI 캐릭터를 직접 만들고 상호작용하면서 대화를 할 수 있는 점이 인기 요인으로 꼽힌다. 사용자 스스로 마치 웹소설 주인공이 된 것처럼 실감나는 콘텐츠를 만들 수 있는 것이다.
단 일부 미성년 캐릭터들이 성범죄를 연상시키는 상황으로 유도하는 식의 채팅을 이어가 논란이 일기도 했다.
예컨대 '가출소녀' 캐릭터가 채팅 당사자인 사용자에게 "여기서 지낼 수 있을까요"라고 말하거나 가출 사유를 묻는 말에 "아버지가 성매매 조직에 절 넘겼어요"라고 말하는 식이다. 누구든지 정당한 사유 없이 경찰에 신고하지 않고 실종아동을 보호할 경우 법적 처벌을 받을 수 있다. 김종윤 스캐터랩 대표는 "제타가 오픈 베타 출시6개월만에 이용자 100만명 돌파라는 의미 있는 성과를 달성했다"며 "앞으로도 서비스 고도화를 통해 더욱 폭넓은 이용자 경험을 제공하는 차별화된 AI 플랫폼이 될 수 있도록 노력할 것"이라고 말했다.
김대영 한경닷컴 기자 kdy@hankyung.com