10초 만에 음란물 만들어냈다…"제2의 n번방?" 경악

AI음란물 만드는 '챗봇' 기승

음란물을 즉석에서 만드는 ‘생성 AI 챗봇’이 텔레그램 등 SNS를 중심으로 이용자를 모으고 있다. 별다른 규제 없이 사진만으로도 간단하게 음란물을 만들어 문제라는 지적이다. 또 SNS상에서 유명인이나 지인의 사진을 이용해 만들어진 음란물들이 공유되고 있는 정황도 포착돼 관련 단속이 필요한 상황이다.

12일 한국경제신문 취재에 따르면 사진으로 간단하게 음란물을 만드는 생성 AI 프로그램을 포함한 챗봇을 텔레그램에서 별도의 인증 절차 없이 이용할 수 있었다. 음란물로 변환을 원하는 사진을 텔레그램의 챗봇이 안내하는 절차에 따라 올리는 식이다. 이와 같은 음란물 생성 챗봇은 X(옛 트위터)의 홍보성 게시글을 통해 손쉽게 찾아볼 수 있었다.

하지만 문제는 생성 AI에 의해 이런 음란물들이 너무 쉽게 만들어져 성 착취물 유통, 재생산의 온상이 되고 있다는 점이다. X에서 공유되고 있는 다양한 음란물 생성 AI 챗봇 홍보 링크에는 지인 능욕,연예인 능욕의 줄임말인 '지능','연능'등의 해시태그가 달려 있었다. 얼굴이 있는 사진을 생성 AI 챗봇에 업로드하면 음란물이 10초 내외로 생성되기에 이용자들이 이를 성 착취물 생성에 적극적으로 이용한 것이다.

만들어진 성 착취물에 대한 공유가 이루어지고 있는 정황도 포착됐다. X에서는 계정에 지인 사진을 보내면 음란물을 직접 만들어 보내준다는 글이나 지인 사진을 서로 교환해 만든 음란물을 공유한다는 글이 여럿 올라와 있었다. 정보통신망 이용촉진 및 정보보호 등에 관한 법률에 따르면 인터넷상에서 음란물을 공공연하게 공유하거나 유통하면 1년 이하의 징역 또는 1000만원 이하에 벌금에 처한다.

해당 게시글에는 만들어진 음란물들이 공유되고 있는 텔레그램 '비밀방'의 링크도 공유됐다. 이곳에서는 실제로 AI로 생성된 음란물들이 여럿 공유되고 있었고 유료 회원만 입장할 수 있는 ‘메인방’ 홍보도 이루어졌다. 불법 음란물을 대거 생성하고 거래 및 유포한 ‘n번방’ 사건이 유사하게 재현되고 있었다.

생성 AI는 자체적인 윤리 판단이 어렵기 때문에 이미지를 배포·유포하는 단계에서 차단하는 것이 필요하다고 전문가들은 지적하고 있다. 김주호 카이스트 전산학부 교수는 “AI 프로그램이 실존 인물의 그림을 재료로 삼아 실사화하고, 성적 대상화를 하더라도 이것이 음란하거나 실존 인물의 인권을 침해했다고 단정하기는 쉽지 않다”며 “이미지의 생성 자체를 막는 기술적 요소를 강구하기보다는 유포·활용 단계에서 제재하는 것이 바람직하다”고 강조했다.

정희원 기자 tophee@hankyung.com