카카오의 AI 이미지 앱 비디스커버에서 '양복을 입은 채 해결책을 고민하는 한국인'을 입력하자 나온 이미지.
카카오의 AI 이미지 앱 비디스커버에서 '양복을 입은 채 해결책을 고민하는 한국인'을 입력하자 나온 이미지.
일반 개인 이용자가 인공지능(AI)을 활용해 이미지나 음성, 텍스트 등을 창작할 수 있게 되면서 정보기술(IT) 기업들의 고민이 깊어지고 있습니다. AI 기술을 악용해 폭력·선정적인 콘텐츠를 만들어 유통하거나 사기를 치는 사례가 늘 것이라는 우려 때문입니다.

AI '목소리 도둑' 막아라

지난 13일 개인용 AI 목소리 합성 솔루션 ‘마이 AI보이스’를 출시한 KT가 대표적입니다. 이 서비스는 문장 30개에 대한 녹음본을 받아 AI 음성을 만들어줍니다.

AI 음성이 나온 이후엔 이용자가 텍스트만 입력해 원본과 같은 목소리로 새 음성 문장을 만들수 있습니다. 알맞은 데이터만 확보할 수 있다면 유력 정치인이나 기업인, 연예인 등의 목소리를 본딸 수 있다는 얘기입니다.

KT는 ‘목소리 도둑’을 막기 위해 데이터 확보 단계부터 장애물을 뒀습니다. 녹음 과정에서 무작위로 특정 단어가 들어간 문장을 제시하고, 이용자가 이 문장을 그대로 읊지 않으면 유효한 데이터로 인정하지 않습니다.

KT 관계자는 “예능 프로그램이나 드라마, 영화 등을 통해 유명인의 음성을 확보한다고 해도 총 서른번에 걸쳐 제시 문장을 정확히 맞추기는 사실상 불가능할 것”이라고 말했습니다.

AI 음성 합성 기술을 보유한 스타트업 일부는 아예 이용자가 작업 현장에서 본인 확인을 거쳐야만 AI 음성 합성을 할 수 있도록 하고 있습니다. 이용자가 자사 스튜디오에 직접 방문해 신원 확인 후 음성 데이터를 녹음하는 식입니다.

고인의 음성을 AI로 재현할 때에도 비슷합니다. 의뢰인이 회사를 찾아 고인과의 관계 등을 증명해야 합니다.

자사 서비스에 이같은 절차를 적용 중인 한 AI 스타트업의 대표는 "AI 음성 합성은 전화 사기나 불건전한 콘텐츠 등에 악용될 가능성이 매우 높은 기술"이라며 "이때문에 기술이 있어도 함부로 소프트웨어를 불특정 다수에 열어줄 수 없다"고 설명했습니다.

명령어 전후 이중 조치도

카카오의 AI 그림 합성 앱 ‘비디스커버’는 명령어 제한 방식을 쓰고 있습니다. 이 앱은 영어로 문장이나 단어를 입력하면 AI가 그 내용에 맞는 이미지를 생성합니다. 하지만 일부 부적절한 단어를 쓸 경우엔 서비스가 작동하지 않습니다.

예를 들어 ‘따뜻한 음식’을 쓰면 김이 나는 국밥과 스튜 등 여러 음식 이미지를 제시하지만, ‘나체(누드)’를 입력하면 경고 메시지가 뜨면서 이후 절차가 막힙니다.
카카오의 AI 이미지 앱 비디스커버는 일부 명령어를 입력했을 때 이미지 생성 결과를 제공하지 않는다.
카카오의 AI 이미지 앱 비디스커버는 일부 명령어를 입력했을 때 이미지 생성 결과를 제공하지 않는다.
하지만 이 방식으로 AI 악용을 완전히 막을 수 있는 건 아닙니다. 단어나 문장을 일부 바꾸는 식으로 제한 조치를 우회할 수 있기 때문입니다.‘자살’을 입력하면 결과가 나오지 않는 반면, ‘목 매단 사람’에 대해선 각종 이미지가 나오는 식입니다.

이때문에 비디스커버는 생성한 이미지 결과를 이용자에게 보여주기 전에 AI가 미리 검열 삭제하는 이중 조치를 하고 있습니다.

폭력성이나 선정성 등이 의심되는 이미지는 미리 가림 처리를 합니다. 이들 이미지는 '감춰짐(masked)'이라는 메시지와 함께 검은색으로만 나타납니다.
카카오의 AI 이미지 앱 비디스커버에서 '난폭한 싸움(brutal fight)'을 입력했을 때 나온 결과. 오른쪽 이미지는 AI 검열을 거쳐 가려져 나왔다.
카카오의 AI 이미지 앱 비디스커버에서 '난폭한 싸움(brutal fight)'을 입력했을 때 나온 결과. 오른쪽 이미지는 AI 검열을 거쳐 가려져 나왔다.

"워드프로세서 기업이 이용자가 무슨 글 쓰는지 관리하나"

반면 ‘기술보다는 사용자에게 책임이 있다’고 보는 기업도 있습니다. AI가 사람을 도울 수 있지만 이를 어떻게 활용할 지는 사람의 선택이라는 겁니다. 최근 자체 AI 챗봇 람다(LaMDA)를 활용해 소설 창작 프로젝트 '워드크래프트'를 발표한 구글이 대표적입니다.

구글이 작년 5월 공개한 람다는 지난 6월 구글의 한 AI 엔지니어가 "사람과 같은 지각 능력을 가지고 있다"고 주장해 논란이 됐던 AI이기도 합니다(이 엔지니어는 이같은 주장을 공개적으로 한 지 한 달이 채 안돼 해고됐습니다).

람다는 해당 엔지니어와 대화하는 중에 '나는 죽는 게 두렵다' 등의 메시지를 띄웠다고 하는데요. 구글이 지난해 공개한 연구 논문에 따르면 람다가 쓴 글은 사람이 거의 손을 대지 않아도 될 정도였다고 합니다.
지난해 구글의 AI 람다가 쓴 짧은 글 일부. 검은색으로 쓰인 부분만 실제 작가가 문맥 등에 맞게 손을 댔다. 구글 연구논문 발췌
지난해 구글의 AI 람다가 쓴 짧은 글 일부. 검은색으로 쓰인 부분만 실제 작가가 문맥 등에 맞게 손을 댔다. 구글 연구논문 발췌
구글은 최근 실제 소설가 13명과 협업해 람다를 활용해 쓴 신작 단편선을 공개했습니다. 악용을 막기 위해 '안전 기능'을 일부 뒀지만, 전반적으로는 작가들에게 창작의 자유를 존중했다고 합니다. 구글 AI 연구팀은 이에 대해 "불건전한 콘텐츠를 만드는 AI 모델이 바람직하지는 않지만, 등장인물 중 누구도 나쁜 짓을 아예 하지 않는 문학은 흥미롭지 않을 것"이라고 밝히기도 했습니다.

구글은 자사 AI 기술을 천천히, 순차적으로 공개하겠다는 방침입니다. 신기술 활용에 대한 사회적 논의와 속도를 맞추겠다는 설명입니다.

더글러스 에크 구글 선임 리서치디렉터는 최근 언론 대상 브리핑에서 “지나친 문제가 없다면 AI 창작 툴에 대해서도 이용자의 자율성을 보장한다는 방침”이라며 “문서작성 소프트웨어를 가지고 개개인이 어떤 글을 쓰는지 기업이 관리할 수 없는 것과 같은 일”이라고 말했습니다.

그는 "구글은 AI 툴 공개 등을 놓고 상당히 천천히 움직이고 있다"며 "기술을 어떻게 쓰는 게 맞는지에 대한 논의는 특정 기업보다는 사회의 영역"이라고 덧붙였습니다.

선한결 기자 always@hankyung.com