[빅데이터 미래 포럼] 급증하는 빅데이터, 비용 증가도 '눈덩이'

풀어야할 문제는

빅데이터가 모든 문제를 해결해주는 ‘만능 해결사’는 아니다. 전문가들은 빅데이터 기술을 더욱 발전시키는 한편 근본적인 한계를 인지하고 조심스럽게 적용해야 한다고 지적했다.

우선 데이터 규모가 기하급수적으로 커지면서 이를 처리하는 데 어려움이 커지고 있다. 한선화 KISTI 첨단정보연구소장은 “데이터 규모가 너무 커 연구자들이 전체 시간의 90%를 데이터 이동과 처리, 관리에 소비하고 있다”며 “방대한 데이터를 보다 효율적으로 분석할 수 있는 기술 개발이 요구된다”고 말했다. 데이터 저장과 전송 비용이 획기적으로 낮아졌지만 처리해야 할 데이터가 더 빠른 속도로 늘어나다 보니 비용도 기하급수적으로 늘어난다는 것. 이를 해결해야 할 핵심 과제로 꼽았다.

블로그나 트위터 등 객관성이 떨어지는 비정형 데이터를 분석 대상으로 삼다 보니 잘못된 해석을 도출할 위험성도 높아지고 있다. 박진서 KISTI 정책연구팀 선임연구원은 “소셜네트워크서비스(SNS)에 올린 글을 분석할 때 은어, 사투리, 빈정거림, 과장, 역설 등 일상어가 지닌 의미를 과연 현재의 기술 수준에서 제대로 분석할 수 있을지, 앞으로 가능할지 회의적인 시각을 가진 연구자도 많다”고 말했다.

임근호 기자 eigen@hankyung.com