챗GPT, 수능 풀어보게 했더니…영어 2등급, 수학은 낙제점

기술검증 기관 애나는 연세대 인공지능대학 김시호 교수 연구팀과 함께 인공지능(AI) 챗봇 챗GPT에 2023학년도 대학수학능력시험(수능) 영어와 수학 과목을 풀어보게 한 결과 각각 2등급, 낙제 수준의 성적을 보였다고 6일 밝혔다.

이번 실험은 수능 문제에서 그림이 포함돼 문항 입력이 불가능한 경우를 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행됐다.

영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞춰 총 82점을 취득했다. 수능 2등급 수준 성적이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서 모두 정답을 맞췄다.

반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞췄으나 확률과 통계·미적분학·기하 분야 문제는 전부 오답을 출력해 챗GPT의 수학 능력은 현저히 낮은 것으로 나타났다. 기계학습 방법으로 수학을 배우는 챗GPT의 연산 능력은 한 자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에서 오답을 낼 정도로 정확도가 떨어진다.

이상호 애나 최고기술책임자(CTO)는 "챗GPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있으며 이러한 요약, 추론 기능을 활용해 응용할 수 있는 서비스가 무궁무진할 것으로 보인다"며 "산업계에서는 인재 채용에 대한 요구사항이 머지않아 바뀌게 될 것"이라고 말했다.

한경희 연세대 공학교육혁신센터 교수는 "멀지 않은 미래에 AI의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것"이라며 "AI와 동행하게 될 앞으로의 교육에서 새로운 교육 목적과 방법을 고민하지 않는다면 미래사회에서 대학 교육은 존립의 근거를 잃게 될지도 모른다"고 지적했다.

조아라 한경닷컴 기자 rrang123@hankyung.com