인공 지능이 인간의 직업 중 상당 부분을 차지할 것이라고 한다. 그런데 이 책은 많이 다르다. 곧 인간은 기계에 의하여 대체될 것이고 그 걸 막을 방법은 없다고 한다. 그러니 저자는 ‘직업을 몇 개 빼앗기는 건 걱정도 아니다’라고 말하고 싶어 한다.
자주 나오는 용어 :ANI (Artificial narrow intelligence) : 약 인공 지능
AGI (Artificial general intelligence) : 강 인공 지능
ASI (Artificial super intelligence) : 초 인공 지능
“기계들은 한계 수명도 없고 그렇기 때문에 결국에는 우주의 지능체들은 쉽게 지배할 수 있습니다. 이들은 생물학적 진화보다 훨씬 짧은 시간에 진화하므로 기계가 등장한 시점 이후의 은하계는 (기계적) 지능체들이 지배할 가능성이 다분합니다. 이 것이 ‘승자독식’시나리오입니다.”
(금융 분야에서 컴퓨터로 인한 사건이 터진 후) “금융 위기 분석가인 스티브 오하나는 이 문제를 다음과 같이 이야기한다. 이 것은 새로운 위협입니다. 우리는 많은 알고리즘들이 서로 영향을 미친다는 것을 압니다. 그렇지만 어떤 방식으로 상호 작용하는 지에 대해서는 몰라요. 금융 분야의 컴퓨터화가 너무 많이 이뤄졌습니다. 우리는 더 이상 이 괴물을 제어할 수 없습니다.”
“정말 무서운 지능이 컴퓨터 금융에서 나타나면, 충분한 돈이 이를 창조한 사람에게 돌아갈 때 까지 비밀로 지켜진다.” 왜냐하면 인공지능 금융망은 너무 빠르고, 너무 복잡하고, 그게 어떻게 움직이는 지 모르기 때문이다.
그렇다면 인공 지능을 개발하는 것을 막으면 어떨까? 그 것도 불가능하다. 1) 인공지능을 개발하지 않음으로서 인간이 얻게 될 수 많은 이익을 포기해야 하기 때문이다. 2) 이런 기술을 포기하려면 기술을 금지시키는 전체주의적인 시스템이 필요할 것이다. 3) 금지시켜도 지하에서 개발하려는 사람이 나오기 때문에 ‘금지’가 성공하지 못할 것이다. (결국 인간은 스스로의 멸망을 충분히 예측하면서도 그 걸 막지 못한다. 이 문제는 영화 터미네이터에서도 나온다).
“(인공 지능의) 더 나은 지능은 (인간의) 더 못한 지능을 우회하는 방법을 찾아낼 수 있습니다. 따라서 순수하게 기술적인 전략으로 이 분야에서 제대로 작동하는 방어 시스템은 없습니다. AGI에 대한 절대적인 방어책은 없습니다. AGI는 결국 지능 폭발로 연결되고 결국 ASI가 되기 때문에 우리가 극단적으로 운이 좋거나 제대로 대비하지 않는다면 ASI를 방어하는 시도는 실패할 것입니다.”
설마 이런 일이 내가 살아 생전에 일어날까 하고 생각했는 데, 저자는 2030년 정도면 42%, 2050년이면 그가 설문조사했던 과학자들의 67%가 AGI (인간과 같은 수준의 지능)의 발생이 가능하다고 본다. 그리고 곧 바로 ‘지능폭발’이 일어나 인간을 초월하는 ASI로 넘어간다. 어마, 무시라~~~
이 책에서 새로운 개념은 ‘인공 지능의 탈출’이다. 인간이 인공 지능을 한정된 하드웨어나 소프트웨어 속에 가두려고 해도 인공 지능은 갇혀있는 자신의 처지를 깨닫고 어떻게든 그 한계를 벗어나려고 할 것이고, 결국은 성공한다.