챗GPT는 수포자?…수능 영어 2등급, 수학은 곱셈도 틀려

'모국어' 영어 요약·추론 탁월
예상 밖 연산능력은 떨어져

미국 오픈AI가 개발한 챗GPT가 한국의 대학수학능력시험에서도 수준급 실력을 보였다는 실험 결과가 나왔다.

시험 평가 및 기술 검증 스타트업 애나와 연세대 인공지능대학 김시호 교수 연구팀은 최근 챗GPT에 2023학년도 수능 문제를 풀게 했다고 6일 밝혔다. 그림이 포함돼 입력이 불가능한 문항을 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행했다.

챗GPT는 수능 영어 시험에서 듣기 평가 16문제 중 14문제, 독해 평가는 17문제 중 13문제의 정답을 맞혔다. 총 82점으로 수능 2등급 수준이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난도가 높은 문제에서는 모두 정답을 맞혔다.

수학 시험에서는 상반된 결과가 나왔다. 챗GPT는 공통과목 분야에서는 20문제 중 6문제의 정답을 맞혔으나 확률과 통계, 미적분학, 기하 분야의 문제는 모두 오답을 써냈다. 기계학습 방법으로 수학을 배우는 챗GPT의 연산 능력은 한 자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에선 오답을 낼 정도로 정확도가 떨어졌다.

이상호 애나 최고기술책임자(CTO)는 “챗GPT는 문장 요약, 추론 등에서는 매우 뛰어난 능력을 보이고 있다”며 “이를 응용할 수 있는 서비스가 무궁무진할 것”이라고 말했다. 한경희 연세대 공학교육혁신센터 교수는 “머지않은 미래에 인공지능(AI)의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것”이라며 “새로운 교육 목적과 방법을 고민하지 않는다면, 대학 교육은 존립의 근거를 잃게 될지도 모른다”고 내다봤다. 챗GPT는 영어를 기반으로 한 만큼 영어로는 훨씬 더 우수한 실력을 보인다.

최다은 기자 max@hankyung.com