루닛, 고성능 AI 활용과 정확도 연구결과 국제저널에 게재

영상의학 분야 최고 권위 저널 '래디올로지'

루닛은 ‘고성능 인공지능(AI) 활용이 판독자 폐암 검출 정확도에 미치는 영향’에 대한 연구 결과를 국제학술지 ‘래디올로지(Radiology)’ 최신호에 게재했다고 3일 밝혔다.

이 연구는 정확도가 높은 AI 모델을 사용한 경우에만 판독자의 검출 능력이 크게 향상된다는 내용의 연구 결과다. 연구는 서울대병원에서 2015년 12월부터 2021년 2월까지 흉부 엑스레이를 촬영한 환자 가운데 후향적으로 선별한 120명을 대상으로 진행됐다.

연구진에는 영상의학과 의사 30명이 참여했다. 폐암이 검출된 흉부 엑스레이 영상 60장과 암이 없는 정상 소견 영상 60장 등 총 120장의 영상을 AI 도움 없이 각자 단독으로 1차 판독했다. 이후 판독의를 15명씩 두 그룹으로 나눠 A그룹은 정확도가 높은 AI를, B그룹은 정확도가 낮은 AI를 각각 활용해 2차 판독했다.

A그룹은 흉부 엑스레이 AI 영상분석 솔루션 ‘루닛 인사이트 CXR’의 고성능 알고리즘을 사용했다. B그룹은 전체 학습 데이터의 10%만 학습한 상대적으로 저성능 알고리즘을 사용했다.

그 결과 AI 모델의 성능평가 지표인 ‘AUROC(Area Under the Receiver Operating Characteristic)’ 분석에서 고성능 루닛 인사이트 CXR 알고리즘의 단독 폐암 검출 능력은 0.88로 나타났다. 저성능 알고리즘 0.77에 비해 높은 정확도를 나타냈다.

또 A그룹 판독의가 1차 판독 후 루닛 인사이트 CXR을 활용해 2차 판독한 경우, AUROC 수치는 0.77에서 0.82로 향상됐다. 반면 B그룹 판독의들은 1·2차 판독 모두 0.75을 기록해 수치상 변화가 없었다. 통상적으로 AUROC 수치가 1에 가까울수록 성능이 뛰어나며, 0.8 이상인 경우 고성능 모델로 평가된다고 회사는 설명했다.

이와 함께 연구에서는 판독의의 1차 단독 판독 결과와 2차 판독 시 AI의 결과가 서로 엇갈릴 경우, AI가 제안한 결과에 따라 판정을 수정한 비율을 측정했다. 그 결과 A그룹 67%, B그룹 59%였다. 고성능 알고리즘을 사용한 집단에서 AI에 대한 수용성(Susceptibility)이 더 높았다.

박창민 서울대병원 영상의학과 교수는 “이번 연구에서는 AI를 사용한 2차 판독의 정확도에 영향을 미치는 요인을 분석하기 위해 판독의들의 경력 기간, AI에 대한 인식, AI 사용 및 연구 경험 유무 등을 사전에 조사했다”며 “그 결과 개별 판독의의 1차 진단 정확도와 AI 자체의 정확도만이 AI를 사용해 2차 판독한 의료진의 정확도에 유의미한 영향을 미쳤고, 판독의 고유의 경험과 성향은 무관했다”고 전했다.

서범석 루닛 대표는 “이번 연구는 개별 의료진의 특성과 무관하게, 성능이 높은 AI를 활용해야만 판독 개선 효과와 함께 AI에 대한 의료진의 수용성이 높아진다는 것을 확인한 연구”라며 “앞으로도 루닛은 의료진의 판독 정확도를 높이고, 환자들에게 보다 정확한 정보를 제공할 수 있도록 AI 성능 향상에 매진하겠다”고 말했다.

김예나 기자 yena@hankyung.com