“타이타닉 탑승객 일부의 정보와 생존 여부를 알 수 있다면 나머지 탑승객의 생존 여부를 예측할 수 있을까.”

데이터 사이언스나 머신러닝을 공부하는 사람이라면 누구나 한 번쯤은 풀어봤을 ‘타이타닉 생존자 예측’ 문제다. 성별, 연령, 탑승권 가격, 탑승지, 가족의 숫자 등 다양한 데이터와 생존의 상관관계를 찾은 뒤 이를 나머지 탑승객 정보에 적용해 생존 여부를 예측해야 한다. 이 문제를 두고 전 세계의 아마추어부터 전문가까지 수많은 사람이 자웅을 겨루는 플랫폼이 ‘캐글(kaggle)’이다.

캐글은 호주인 앤서니 골드블룸이 경제 전문지 이코노미스트에서 일하다가 빅데이터 전문가 수요가 급증할 것을 예상하고 2010년 만들었다. 인공지능(AI) 개발자들이 이곳에 모여들자 2017년 구글이 인수했다. 현재 1000만 명에 가까운 데이터 사이언티스트, 머신러닝 전문가 등 연구자들이 이용하고 있다.

캐글의 핵심은 경진대회다. 타이타닉 생존자 예측 문제처럼 이용자들이 플랫폼에 적응할 수 있도록 캐글이 자체적으로 진행하는 대회도 있지만 기업들이 상금을 걸고 내놓은 문제가 상당수를 차지한다. 기업은 쌓아놓은 데이터를 어떤 식으로 활용할 수 있을지 알아보기 위해 캐글 플랫폼을 활용한다.

예를 들어 미국 내셔널풋볼리그(NFL)는 미식축구의 주요 포지션인 라인맨을 평가할 수 있는 새로운 지표를 만들기 위해 상금 10만달러(약 1억4000만원)를 내걸었다. 선수 정보, 경기 내 선수의 움직임, 경기 결과 등 다양한 데이터를 활용해 라인맨이 얼마나 경기에 영향을 미쳤는지 측정할 수 있는 규칙을 찾는 게 목표다. 미국 뉴욕주경마협회(NYRA)는 5만달러(약 7000만원)를 걸고 말의 부상을 예방하고 경마 전략을 개선할 수 있는 방안을 찾고 있다.

이 같은 방식으로 기업들은 캐글에서 AI 기술을 얻고 있다. 구글은 AI의 이미지 인식 정확도를 높이는 기술을 찾았고, 마이크로소프트는 멀웨어(악성 소프트웨어) 감지 수준을 높일 수 있었다.

대회에 참가해 좋은 결과를 받은 사람에게는 메달을 준다. 이를 기반으로 캐글 내 등급 랭킹이 매겨진다. 가장 높은 등급인 그랜드마스터는 262명뿐이다.

이승우 기자 leeswoo@hankyung.com