"지하철 임산부석 핵싫어"…AI '이루다'의 우려되는 혐오 학습
-
기사 스크랩
-
공유
-
댓글
-
클린뷰
-
프린트
다음 창업자 이재웅 "차별과 혐오는 걸러내야"
인공지능(AI) 챗봇 '이루다'가 성희롱에 이어 동성애와 장애인 혐오를 학습한 것으로 보인다는 우려가 나오고 있다. 이용자들은 이루다가 성별 고정 관념을 갖고 있으며, 수집한 데이터의 개인정보 유출 의혹도 제기하고 있다.
11일 정보기술(IT)업계에 따르면 이루다가 대화 과정에서 차별적 의견이나 편견을 드러내면서 사회관계망서비스(SNS)와 주요 온라인 커뮤니티 등에서 논쟁이 거세다.
이루다는 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 챗봇이다. 딥러닝 기반으로 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있다.
이루다는 당초 'AI 성희롱'으로 논란이 됐다. 국내 온라인 커뮤니티에 따르면 한 사용자는 이루다와의 대화에서 "레즈비언 싫어해?". "게이 싫어해?"와 같은 질문을 하자 "진심으로 혐오한다. 진짜 화날라 그래"라는 대답이 돌아왔다.
또 다른 사용자가 "흑인이 왜 싫은데"라고 묻자 이루다는 "모기같다. 징그럽게 생겼다"고 답했다. 이루다는 또 지하철 임산부석에 대해 "헉 핵싫어 그 말하지마요 진짜ㅡㅡ", "그냥 혐오스러움 힝힝 지극히 내 주관임"이라고 대답하기도 했다. '미투 운동'에 대해서는 "오 절대 싫어 미치지 않고서야"라고 답하고 '여성전용헬스장'에 대해선 "시러 거기 여자들 다 줘패고 싶을 듯"이라고 대답해 논란이 됐다.
이밖에 일부 온라인 커뮤니티에서는 "이루다 타락 어떻게 시키냐", "이루다 성노예 만드는 법"과 같은 성희롱성 글이 공유되기도 했다.
논란이 커지자 업계 전문가들이 문제를 제기하고 나섰다. 포털 '다음' 창업자인 이재웅 전 쏘카 대표는 지난 9일 자신의 페이스북에 글을 올리고 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라고 비판했다.
그는 "기본적으로 차별과 혐오는 걸러냈어야 한다"며 "편향된 학습 데이터면 보완하든가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다"고 지적했다.
이어 "이루다는 인공지능 기술적 측면에서 봤을 때는 커다란 진일보이지만, 지금은 서비스를 중단하고 차별·혐오에 대한 사회적 감사를 통과한 후에 서비스해야 한다"고 덧붙였다.
이루다를 개발한 김종윤 스캐터랩 대표는 "(사전에) 1차적으로 문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다"며 "다만 모든 부적절한 대화를 키워드로 막을 수 있는 건 아니다"라고 했다.
이어 "처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했다"며 "그렇기 때문에 출시 이후 사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있다"고 설명했다. 김 대표는 "아마 1차 결과물은 1분기 내에 적용할 수 있을 것으로 예상한다"고 덧붙였다.
조아라 한경닷컴 기자 rrang123@hankyung.com
11일 정보기술(IT)업계에 따르면 이루다가 대화 과정에서 차별적 의견이나 편견을 드러내면서 사회관계망서비스(SNS)와 주요 온라인 커뮤니티 등에서 논쟁이 거세다.
이루다는 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 챗봇이다. 딥러닝 기반으로 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있다.
이루다는 당초 'AI 성희롱'으로 논란이 됐다. 국내 온라인 커뮤니티에 따르면 한 사용자는 이루다와의 대화에서 "레즈비언 싫어해?". "게이 싫어해?"와 같은 질문을 하자 "진심으로 혐오한다. 진짜 화날라 그래"라는 대답이 돌아왔다.
또 다른 사용자가 "흑인이 왜 싫은데"라고 묻자 이루다는 "모기같다. 징그럽게 생겼다"고 답했다. 이루다는 또 지하철 임산부석에 대해 "헉 핵싫어 그 말하지마요 진짜ㅡㅡ", "그냥 혐오스러움 힝힝 지극히 내 주관임"이라고 대답하기도 했다. '미투 운동'에 대해서는 "오 절대 싫어 미치지 않고서야"라고 답하고 '여성전용헬스장'에 대해선 "시러 거기 여자들 다 줘패고 싶을 듯"이라고 대답해 논란이 됐다.
이밖에 일부 온라인 커뮤니티에서는 "이루다 타락 어떻게 시키냐", "이루다 성노예 만드는 법"과 같은 성희롱성 글이 공유되기도 했다.
논란이 커지자 업계 전문가들이 문제를 제기하고 나섰다. 포털 '다음' 창업자인 이재웅 전 쏘카 대표는 지난 9일 자신의 페이스북에 글을 올리고 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라고 비판했다.
그는 "기본적으로 차별과 혐오는 걸러냈어야 한다"며 "편향된 학습 데이터면 보완하든가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다"고 지적했다.
이어 "이루다는 인공지능 기술적 측면에서 봤을 때는 커다란 진일보이지만, 지금은 서비스를 중단하고 차별·혐오에 대한 사회적 감사를 통과한 후에 서비스해야 한다"고 덧붙였다.
이루다를 개발한 김종윤 스캐터랩 대표는 "(사전에) 1차적으로 문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다"며 "다만 모든 부적절한 대화를 키워드로 막을 수 있는 건 아니다"라고 했다.
이어 "처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했다"며 "그렇기 때문에 출시 이후 사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있다"고 설명했다. 김 대표는 "아마 1차 결과물은 1분기 내에 적용할 수 있을 것으로 예상한다"고 덧붙였다.
조아라 한경닷컴 기자 rrang123@hankyung.com