한경 테샛위, 6년간 문항분석

문항 신뢰도 0.92 (최대값 1)…평균난이도 60점 안정적 유지

"변별력 문항 85% 이상"

지난 9일 한국경제신문에서 열린 26회 테샛 시상식에서 성적 우수자들이 밝게 웃으며 파이팅을 외치고 있다. 허문찬 기자 sweat@hankyung.com

한국경제신문 테샛위원회가 테샛의 문항 난이도와 변별도를 분석한 결과 매회 난이도가 일관성 있게 유지되고 문항 변별도 역시 0.3 이상의 최고 수준으로 높게 나타났다. 문항 난이도는 문항의 쉽고 어려운 정도를 나타내는 지수로 통상 평균정답률을 의미한다.

문항 변별도(item discrimination)는 수험자의 능력을 얼마나 구분하는지를 나타내는 지표이다. 일반적으로 문항 변별도는 각각의 문항에 대한 개별 수험생의 점수와 총점 간의 상관계수로 표시하는데 0.1 이하이면 변별도가 없고 0.3 이상이면 변별력이 높은 수준으로 평가된다. 대표적 신뢰도 지수인 크론바흐알파 지수(Cronbach α)도 계속 상승해 2013년부터 0.9 이상을 유지했다.

◆테샛 난이도는 2012년 이후 60점대를 안정적으로 유지하고 있다. 22~26회 테샛의 5회 평균 난이도는 100점 만점 환산시 60.12점이었다. 5회 전체 평균과 회차별 평균 오차는 4점 이내로, 시험의 난이도가 일관성 있게 유지된 것으로 나타났다. 난이도가 일정하게 유지되지 않으면, 수험생들의 능력을 평가한 수치의 신뢰도 역시 낮아진다. 테샛은 국가공인 자격증으로서 난이도를 일정하게 유지해 수험생의 경제이해력을 정확하게 측정한 것으로 분석된다.

◆테샛은 지난 5년간 변별도가 꾸준히 상승했다. 22회부터 26회까지 5회 평균은 0.3678로 매우 높게 나타났다. 22회 0.351, 23회 0.398, 24회 0381, 25회 0.336, 26회 0.373으로 매회 변별력 기준인 0.3을 넘었다. 또 전체 80문항 가운데 변별력을 갖춘 문항의 개수도 85%(68개)를 넘었다. 변별력 0.4 이상(변별력 매우높음) 문항은 5회 평균 45.7%(36개)에 달했다.

테샛의 높은 변별도는 수험생이 핵심 경제개념·시사상식·금융·상황판단 분석 능력의 수준을 효과적으로 분별하고 있음을 보여준다.

◆신뢰도(reliability)는 수험생의 능력을 오차 없이 정확하게 측정했는지를 나타내는 지수로 대표적인 신뢰도 지수에는 크론바흐알파 지수가 있다. 크론바흐알파 지수는 0에서 1 사이의 값을 갖는데 테샛은 최근 5회 평균 0.918로 최고 수준의 문항 신뢰도를 보였다.

크론바흐알파 지수는 2012년 11월 시험 이후 매회 0.9를 넘었다. 신뢰도는 난이도, 변별도, 시험 내용의 범위 등에 영향을 받는다.

손정희 연구원 jhson@hankyung.com