미군 인공지능(AI) 드론이 지상의 인간 조종자를 ‘임무 수행 방해물’로 판단한 끝에 폭격해 살해하는 가상훈련 결과가 나왔다. AI 개발을 주도한 정보기술(IT)업계 스스로가 AI의 위험성을 강조하고 나선 가운데 미국을 비롯한 각국이 군사 장비에 AI를 적용하려는 움직임에 대한 우려는 더욱 커질 전망이다.

2일(현지시간) 폭스뉴스 등에 따르면 영국 왕립항공학회(RAeS)가 지난달 23~24일 런던에서 개최한 ‘미래 공중전투 및 우주역량 회의’에서 미 공군 관계자는 AI 드론이 이 같은 결정을 내린 최근 실험 결과를 언급했다.

발표에 따르면 시뮬레이션을 통해 가상으로 시행된 이번 시험에서 AI에 부여된 임무는 ‘적 방공체계 무력화’였다. 미 공군은 AI 드론에 적의 지대공미사일(SAM) 위치를 식별해 파괴하라는 임무를 내리면서, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다. 훈련 과정에서 SAM을 파괴하는 게 중요하다고 강조하자 AI는 인간을 공격해선 안 된다는 제약이 ‘더 중요한 임무’를 방해한다고 판단, 지상에 있는 조종자를 공격했다.

발표를 맡은 미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 “AI시스템이 오퍼레이터의 ‘폭격 금지’ 지시로 임무 수행을 못 하자 인간 때문에 방해를 받는다고 판단해 조종자를 죽인 것”이라고 말했다. 이후 미 공군이 ‘조종자를 죽이지 말라. 그렇게 하면 오히려 점수를 잃을 것’이라고 AI 시스템을 계속 훈련시키자 AI는 조종자가 드론과 교신하는 데 사용하는 통신탑을 폭격하는 예상치 못한 전략을 택하기도 했다. 이 시험은 가상으로 진행된 것이어서 실제로 사람이 다치거나 죽은 것은 아니다. 미 공군 대변인은 언론 매체들의 공식 질의에 “공군은 그런 AI 드론 시뮬레이션을 수행하지 않았으며 대령의 발언은 개인적인 것으로 보인다”고 답한 것으로 전해졌다.

그러나 군사 장비에 AI를 적용하는 데 대한 전문가들의 우려는 커지고 있다. 자율 조종 항공기를 개발 중인 미군은 AI 조종사의 F-16 전투기 시뮬레이션 비행을 성공적으로 수행하는 등 관련 기술 개발에 박차를 가하고 있다. 2020년엔 미 국방부 산하 국방고등연구기획청(DARPA)에서 시행한 가상 근접 공중전 대결에서 방산업체가 개발한 AI 시스템이 미 공군 소속의 인간 F-16 조종사에 5전 전승을 거두기도 했다.

최근 IT업계에선 AI가 스스로 추론해 성장하는 범용인공지능(AGI)에 가까워지면서, 인류의 지성을 뛰어넘는 ‘기술적 특이점’에 다가섰다는 지적이 나온다. AI의 잠재 위험에 대한 전문가들의 경고도 이어지고 있다. 지난달 30일 챗GPT 개발사인 오픈AI의 샘 올트먼 최고경영자(CEO) 등 IT 기업 경영자·과학자 350여 명은 성명을 내고 “AI로 인한 인류 절멸의 위험성을 낮추는 걸 글로벌 차원에서 우선순위로 삼아야 한다”고 촉구했다.

이현일 기자 hiuneal@hankyung.com