"아빠, 나 납치됐어 살려줘!"…목소리 주인공 딸 아니었다

범죄·테러집단 'AI 사기극'
'음성 복제' 가장 많이 악용돼

A씨는 최근 납치를 당했다고 비명을 지르는 딸의 전화를 받았다. 협박범이 시킨 대로 현금을 찾으러 은행으로 달려가던 중 딸의 문자를 받고서야 정신을 차리고 멈춰 섰다. 전화 속 목소리가 딸이 아님을 알아챈 것이다. 딸의 목소리를 흉내 낸 인공지능(AI)으로 범죄 집단이 벌인 사기극이었다.

AI를 적극적으로 활용하는 건 정부나 군대뿐만이 아니다. 테러 조직이나 범죄 집단도 AI를 쓰고 있다. 컨설팅 기업 PwC는 범죄에 가장 많이 사용되는 AI 기술로 ‘음성 복제’를 꼽았다. 딥페이크로 불리는 가짜 동영상도 이미 범죄에 널리 쓰이고 있다.

파이낸셜타임스(FT)와 영국 금융산업사기방지기구(CIFAS)에 따르면 영국 은행 시스템에도 최근 AI를 활용한 악성 접근이 84% 증가했다. CIFAS 관계자는 “은행 앱 신원 확인 과정에서 AI로 만든 이미지와 비디오, 오디오 사용이 늘어나고 있다”고 경고했다.

다크웹에는 챗GPT의 악성 챗봇 격인 ‘사기GPT’와 ‘웜GPT’가 등장했다. 구글 AI 바드의 악성 버전인 다크바트 등 범죄에 초점을 맞춘 도구들도 생겼다. 범죄자들은 이런 AI 도구를 활용해 해킹을 시도하거나 사용자를 특정해 공격할 수 있다.

반대로 범죄자를 잡는 데 AI를 활용하기도 한다. 미국 시카고대 연구팀은 시카고 시내를 가로세로 300m 크기의 구획으로 나눴다. 3년간의 구획별 범죄 데이터를 AI에 학습시켰다. AI는 범죄 발생 1주일 전 각 구획에서 살인, 강도 등이 일어날 확률을 90% 정확도로 예측했다. 로스앤젤레스(LA), 샌프란시스코 등 미국의 다른 7개 도시에서도 비슷한 수준의 정확도를 얻었다.

범죄예측 AI에 인종적 편견을 심었다는 논란도 일고 있다. 시카고에 사는 20~29세 흑인 남성의 56%를 잠재적 범죄자 명단에 올렸기 때문이다. 경찰이 흑인들의 범죄 확률이 높다고 보고 이들의 밀집 거주지를 집중적으로 순찰한 영향이었다. 순찰이 잦아 흑인 청년 검거 건수가 많았고 이 때문에 AI의 판단이 오염된 것이다.

고은이 기자 koko@hankyung.com