[책마을] "독재자가 AI의 꼭두각시라고 생각해보라"

넥서스

유발 하라리 지음 / 김명주 옮김
김영사 / 684쪽｜2만7800원

6년 만의 신작 낸 유발 하라리
'AI 위험성'에 경각심 가져야
스스로 결정하는 존재 등장
인류가 통제받을 가능성도
인간 사회 분열 AI에 유리

신작 <넥서스>를 펴내고 국내 언론과 화상 인터뷰를 한 유발 하라리는 “AI는 단순한 도구가 아니라 스스로 결정하는 행위자”라며 “그 어떤 기술보다 인간이 통제하기 어렵다”고 말했다. /김영사 제공

“19세기 산업혁명 때의 문제가 21세기에도 일어나지 않을까 걱정됩니다. 소수의 나라가 산업혁명을 주도했고, 앞선 기술로 세계를 정복하고 침탈했습니다. 인공지능(AI) 혁명도 마찬가지입니다. 그때처럼 몇몇 국가가 선두 주자로 나섰습니다. 세계 다른 국가를 지배하고 착취할 가능성이 있습니다.”

세계적으로 4500만 부 팔린 베스트셀러 <사피엔스>의 저자 유발 하라리 이스라엘 히브리대 역사학과 교수가 6년 만의 신작 <넥서스>를 펴냈다. 지난 15일 국내 언론과 한 화상 인터뷰에서 그는 AI로 인한 여러 위험성을 경고했다.

넥서스 유발 하라리 지음 김명주 옮김 김영사 684쪽｜2만7800원

그중 하나는 “AI가 스스로 결정을 내리는 행위자”라는 점이다. 지금껏 정보기술은 단순히 인간을 연결하고, 인간의 말과 결정을 기록하는 도구였다. 점토판, 인쇄기, 라디오, 신문, TV 등이 그랬다.

“물론 AI의 긍정적인 잠재력은 엄청납니다. 과학 발견, 신약 개발, 기후변화 해결 등에 활용할 수 있습니다. 하지만 엄청난 위험도 내포하고 있습니다. AI가 어떤 결정을 내릴지 예측하기 어렵고, 인류가 만든 어떤 기술보다 통제하기 힘듭니다.”

2016~2017년 미얀마에서 자행된 반(反)로힝야 폭력 이면에 페이스북 알고리즘이 중요한 역할을 했다는 사례가 그의 책에 실렸다. 유엔 조사에 따르면 ‘사용자 참여 극대화’라는 목표를 부여받은 페이스북 알고리즘은 시행착오를 통해 분노가 참여도를 높인다는 사실을 학습했다. 사람의 명령이 없었지만 이용자의 분노를 자극하는 콘텐츠를 추천하기로 결정했다.

하라리는 편향된 데이터를 통해 학습한 AI가 여성, 특정 인종, 성소수자에 대한 편견을 품을 수 있는 점, AI 기술의 소유와 접근성에 따라 19세기 산업혁명 때처럼 불평등이 커질 수 있는 점 등도 우리가 AI에 경각심을 가져야 하는 이유라고 설명했다.

그는 ‘AI는 통제하기 어렵다’는 점을 여러 차례 강조했다. 그 위험성은 독재자가 AI를 쓸 때 더 커진다. “역사를 보면 독재자는 자기가 부리던 부하에게 암살당하거나 부하에게 조정당해 꼭두각시로 전락하곤 합니다. 독재자는 AI를 자기가 통제한다고 믿겠지만, 어느 순간 반대의 상황에 놓이게 될 수 있습니다.”

하라리는 다만 섣불리 규제하기보다 먼저 AI를 관찰하고 이해해야 한다고 말했다. 이를 위한 첫 번째 단계로 국제기구를 설립해 세계 각국이 다 같이 AI에 대한 이해를 높일 것을 제안했다. 또 기술 회사는 자신의 알고리즘 때문에 일어난 일에 법적 책임을 져야 하고, AI는 어떤 경우에도 절대 인간인 척해서는 안 된다고 했다. 문제는 ‘인간 사회의 분열’이다. 그는 “AI를 통제하려면 인류가 협력해야 한다”며 “인류가 분열되고 서로 싸운다면 AI에 유리한 상황이 펼쳐질 것”이라고 했다.

하라리는 “하루 2시간씩 명상하고, 1년에 한두 달 외부와 완전히 단절한 채 명상하는 시간을 갖는다”고 했다. 정보는 마음이 먹는 음식이라 소화하는 데 시간이 필요하고 너무 많이 먹으면 건강에 안 좋다고 생각하기 때문이다.

임근호 기자 eigen@hankyung.com