2009년 5월 31일, 에어프랑스 항공기 AF447편이 브라질 리우데자네이루 공항을 이륙해 프랑스 파리로 향했다. AF447편은 에어버스 A330 기종으로 자동운항 시스템이 워낙 뛰어났다. 이착륙 때를 제외하고는 조종사가 손 하나 까딱하지 않아도 비행을 마칠 수 있을 정도였다. 이 항공기 조종사 피에르 세드리크 보냉은 3000시간 가까운 비행 경력을 가졌지만 A330을 수동으로 비행한 경험은 보잘것없었다. 조종석에서 그가 맡은 역할은 대개 자동운항 시스템을 살피는 것이었다.

문제는 기체에 내장된 비행속도 감지기에 얼음이 맺히면서 발생했다. 자동운항 시스템은 경고를 울리고 인간 조종사에게 조종 임무를 맡겼다. 경험이 부족한 보냉은 과잉 대응을 하며 조종간을 과도하게 잡아당겼다. 날개가 공기의 흐름을 막으며 항공기가 대서양에 추락했다. 승무원과 승객 228명 모두 사망했다.

항공기와 자동차 같은 운송 수단의 자율조종 시스템은 인공지능(AI) 도움을 받아 갈수록 진화하고 있다. 설계자가 거의 모든 문제를 예상하고 안전하게 해결하도록 알고리즘이라고 불리는 자동화 시스템을 구축한다. 하지만 보냉의 경우처럼 조종사가 예외 상황에서만 조종하면 비상 상황이라는 난관이 닥칠 때 잘 대처할 수 있는 경험을 거의 쌓지 못한다.

영국 런던대에서 도시 수학을 가르치는 해나 프라이는 저서 《안녕, 인간》에서 알고리즘과 AI가 사회를 어떻게 통제하고 미래를 만들어갈지 이야기한다. 알고리즘은 어떤 문제를 풀거나 목적을 달성하고자 거치는 여러 단계의 절차를 의미한다. 여기서는 인간이 할 일을 기계에 입력하고 목표를 부여하면 기계가 결과물을 얻는 최상의 방법을 스스로 찾아내는 기계학습 알고리즘을 뜻한다. 알고리즘은 인간을 편리하게 하지만, 에어프랑스 사고처럼 결정적인 순간에는 인간의 책임을 요구한다. 저자는 이처럼 알고리즘과 인간의 관계를 조명하며 현명하게 기술을 활용하는 법을 제시한다.

넷플릭스는 내가 좋아하는 영화를 추천하고, 스마트폰으로 검색한 키워드는 웹사이트의 배너 광고로 마주하게 된다. 소셜미디어부터 검색엔진, 마케팅, 의료, 법원까지 다양한 분야에 알고리즘이 스며들어 있다. 저자는 “인간이 지나치게 많은 것을 객관화하고 자동화하려는 욕망 때문에 오히려 개인정보 침해와 같은 문제를 얻었다”고 말한다.

저자는 알고리즘이 지난날의 불평등을 쉽게 유지하는 역할을 한다고 지적한다. 미국의 사법제도가 데이터와 알고리즘을 받아들인 지 100년 가까이 됐다. 1920년대부터 범죄자가 가석방 자격을 얻을 때 이미 수감자가 가석방 조건을 위반할지 여부를 예측하는 데 알고리즘이 사용됐다. 알고리즘이 인종을 대놓고 평가하지는 않았지만 백인보다 흑인을 고위험군으로 지목할 확률이 두 배 높았다. 알고리즘이 역사적으로 심하게 불평등했던 미국 사회의 뻔한 예측 결과를 근거로 판단한 것이다.

저자가 보는 가장 뛰어난 알고리즘은 모든 단계마다 인간을 고려하는 알고리즘이다. 저자는 퀴즈쇼 ‘제퍼디’에서 우승한 IBM 인공지능 왓슨이 이런 특징을 가졌다고 말한다. 퀴즈쇼란 형식상 정답 하나만 말해야 했지만, 왓슨은 추리하는 과정에서 고려한 후보군과 정답을 함께 제시했다. 범인 얼굴인식 알고리즘이라면 대뜸 한 명만 제시하기보다는 일치한다고 볼 만한 여러 후보군을 제시할 경우 오류를 둘러싼 논란이 줄어든다는 것이다. 저자는 알고리즘 결정에 물음을 던지고, 결정 아래 깔린 동기를 꼼꼼히 살펴야 한다고 지적한다. 누가 이익을 얻는지 알려 달라고 요구하고, 알고리즘이 저지른 실수의 책임을 물어야 한다고 강조한다. 알고리즘 시대에는 그 어느 때보다도 인간이 중요해진다는 얘기다.

최종석 기자 ellisica@hankyung.com