[기고] '신뢰할 수 있는 AI' 위해 사람의 역할 필수

AI가 만들어낸 정보·제품
인간이 '수문장' 역할해야

최경식 한국IBM 상무(신뢰 및 준법 관리감독 총괄)

최근 미국 뉴욕 연방지방법원에서 항공사에 의한 상해 소송이 화제가 됐다. 원고 측 변호사가 생성형 인공지능(AI)으로 받은 답변에 따라 제출한 판례 중 몇 건이 실존하지 않은 가짜 판례로 드러났기 때문이다.

더 재밌는 것은 원고 측 변호사들이 이 판례들에 대한 진위를 확인한 방법이다. 이들은 다시 한번 AI에 자신들이 제출한 판례들이 실제로 실존하는 판례인지를 질의했다. AI는 웨스트로, 렉시스넥시스 같은 법률 데이터베이스에서 찾을 수 있는 판례들이라고 답변했다.

법원은 원고 측 변호사들에게 가짜 판례를 제출한 사실에 대한 책임을 물어 벌금 5000달러를 집행했다. 법원에서 내린 판결도 눈여겨 볼만하다. “기술의 발전은 일상적이며 도움을 받기 위해 신뢰할 수 있는 AI 도구를 사용하는 것은 본질적으로는 부적절한 것이 없다. 그러나 기본 원칙은 변호사에게 제출하는 서류들의 정확성을 보장하는 수문장(Gatekeeping)의 역할이 있으며, 원고의 변호사들이 AI가 만든 가짜 인용문과 존재하지 않는 법원의 의견을 제출한 후 법원에서 그 판례의 진위를 질의했을 때조차 계속해서 좌시했을 때 그 책임을 회피한 것이다.”

이 판례에서 재밌는 두 가지 사실이 있다. 우선 법원에서는 ‘신뢰할 수 있는’ AI를 사용하는 것은 문제가 없다고 했다. 그런데도 결국 최종적으로 판례의 진위를 확인해야 하는 수문장의 역할은 변호사, 즉 사람에게 있다는 것이다.

필자가 준법 관리·감독 총괄을 맡고 있는 IBM의 AI 윤리 기본원칙과도 일맥상통한다. IBM은 신뢰할 수 있고 투명한 AI의 기본원칙 중 하나로 AI의 목적은 인간의 지능을 강화하는 것이지 대신하는 것이 아니라고 강조한다. 수백 수천개의 판례를 검색해 고객에게 유리한 판례를 찾는 데 AI를 사용함으로써 변호사의 지능과 능력을 높일 수 있지만, 판례의 진위를 확인하고 실존하는 인용문을 제출하는 최종적인 역할은 변호사에게 남아있기에 사람의 역할을 대신할 수는 없는 것이다.

지난달 1일 발효된 유럽연합(EU) AI법 또한 사람의 중요성을 인지하고 있는 듯하다. 법안에 따르면 사람의 건강, 안전 및 기본권에 심각한 피해가 발생할 가능성이 높은 AI 솔루션은 고위험 AI로 분류된다. 이 경우에는 사람의 감독이 의무사항이다. 그와 함께 기술 문서화, 기록 보존, 투명성, 정확성, 보안 등 수많은 요구사항이 있다. 신뢰할 수 있는 AI를 위한 노력의 일환이다. 이러한 요구사항을 충족하기 위해서는 AI 개발 초기 단계부터의 거버넌스가 필수적이다. 거버넌스 프로세스를 마련하는 데에도 사람의 역할은 필수적이다.

그런 면에서 AI의 시대가 도래했다고 너무 두려워할 필요는 없다. 회사 직원의 입장에서는 AI가 만들어내는 제품을 검수하고 올바른 정보가 나갈 수 있도록 하는 ‘수문장’의 역할을 하는 책임과 기회가 주어져야 할 것이다. 회사는 AI 프로그램을 개발하는 초기부터 올바른 거버넌스를 수립해 AI를 구축할 수 있는 인력과 프로세스를 마련하고자 노력해야 할 것이다. 두 가지가 조화롭게 이루어질 때 비로소 고객에게도 신뢰받을 수 있는 AI를 구축할 수 있을 것이다.