의료 인공지능(AI) 기업 루닛(대표 서범석)은 결핵환자 분류 과정에서 글로벌 12개 AI 솔루션의 검출 성능을 직접 비교한 연구 결과가 세계적인 의학저널 ‘란셋 디지털 헬스(The Lancet Digital Health)’에 게재됐다고 6일 밝혔다.

란셋 디지털 헬스는 글로벌 최고 권위의 의학 학술지인 ‘란셋(The Lancet)’의 디지털 헬스 분야 자매지로, 논문 피인용지수(Impact factor, IF)[1]가 23.8에 이를 정도로 높은 신뢰도와 영향력을 갖고 있다.

이번 연구는 AI 솔루션 개발사들과 무관한 독립적인 연구팀이 12가지 AI 제품의 성능을 동일한 데이터로 비교했다.

그만큼 공정하고 객관적인 평가를 통해 연구 결과의 신뢰도를 높였다.

연구는 UN 프로젝트 조달기구(UNOPS) 산하 결핵퇴치 국제협력사업단(Stop TB Partnership)에서 활약 중인 독일 하이델베르크 대학병원 소속 지젠친(Zhi Zhen Qin) 교수 연구팀이 주도했다.

연구팀은 남아프리카공화국에서 2017년 8월부터 2019년 7월까지 2년간 결핵 유병률 조사에 쓰인 774명의 흉부 엑스레이 데이터를 활용했으며, 루닛의 흉부 엑스레이 AI 영상분석 솔루션 ‘루닛 인사이트 CXR’을 포함 총 12개 상용 AI 솔루션에 대한 비교 분석이 이뤄졌다.

연구 결과, AI 모델의 대표적 성능평가 지표인 AUC[2] 수치를 기준으로 했을 때, 루닛 인사이트 CXR의 결핵 검출 능력은 0.902로 연구 분석에 활용된 모든 AI 제품 중 가장 높은 수치를 보였다.

특히 주목할 점은 루닛 인사이트 CXR이 세계보건기구(WHO)가 제안하는 AI 솔루션의 검출 성능 목표치에 가장 근접했다는 점이다.

WHO는 15세 이상 결핵환자 분류 과정에 컴퓨터 보조 진단 장치(CAD) 이용을 권장하고 있으며, 90%의 민감도(Sensitivity)[3]와 70% 특이도(Specificity)[4]를 목표 성능으로 제시하고 있다.

연구팀이 루닛 AI의 민감도 임계값을 90%로 설정했을 때, 특이도는 67.7%를 기록해 12개 제품 중 WHO 목표에 가장 근접한 결과값을 냈다.

반대로 특이도 임계값을 70%로 설정한 경우에도, 89.5%의 민감도를 나타내며 12개 제품 중 목표지수에 가장 근접했다.

이번 연구 결과는 루닛 인사이트 CXR이 글로벌 선진국 시장을 넘어 개발도상국에서도 결핵을 검진하는 효과적인 도구로 활용될 가능성을 보여준다.

결핵은 대표적인 개발도상국형 전염병으로, 의료 자원이 부족한 이들 국가에서는 결핵 검진 과정에 AI 솔루션을 도입하려는 수요가 높다.

서범석 루닛 대표는 "이번 연구는 루닛 AI 성능의 비교 우위를 객관적으로 입증한 주요 이정표로, 세계적 권위의 저널에 게재됐다는 점에서도 의미가 크다”며 “WHO 결핵 분류 목표에 근접한 성능을 보인 것은 글로벌 헬스케어 시장에서 루닛의 경쟁력을 입증하는 결과이며, 이를 바탕으로 개도국 등으로 시장을 적극 확대해 나갈 계획”이라고 말했다.

[1] The Lancet 참조(www.thelancet.com/journal-impact-metrics)

[2] AUC(Area Under the Curve): AUC가 1에 가까울수록 성능이 뛰어난 것으로 알려졌으며, 0.8 이상은 고성능 모델로 평가됨

[3] 민감도(Sensitivity): 실제 양성 사례를 정확하게 양성으로 진단할 확률

[4] 특이도(Specificity): 실제 음성 사례를 정확하게 음성으로 진단할 확률