2011년 7월 어느 금요일 오후, 미국 산타크루스 도심의 주차장에서 자동차 절도범 두 사람이 잡혔다. 경찰은 톰 크루즈 주연의 할리우드 영화 ‘마이너리티 리포트’처럼 범행 장소와 시간을 특정해준 컴퓨터 프로그램의 예측을 보고 출동했고, 현장에서 기다리고 있다 범인을 잡았다.

공상과학 영화에서나 가능했던 이런 일이 어떻게 현실에서 일어날 수 있었을까. 2005년 산타크루스 경찰청은 인근 대학 수학과 교수를 비롯해 인류학자, 범죄학자로 팀을 구성해 ‘실시간 범죄 예측 시스템’을 개발했다. 이 팀은 수천 건의 범죄 기록을 분석, 차량 절도 등 범죄가 같은 장소에서 재연되거나 특정 지역에서 발생할 확률이 높다는 사실을 알아냈다. 이 시스템으로 전체 범죄의 25% 이상을 예방할 수 있게 됐다.

《빅데이터 혁명》의 저자는 위와 같은 빅데이터 기술이 인간의 미래를 바꿀 수 있다고 말한다. 빅데이터란 사람으로서는 분석 불가능한 방대한 양의 데이터를 분석하고, 관계 없어 보이는 데이터끼리의 연관 관계를 파악해 실제로 벌어지는 일이 무엇인지 알아내고 미래를 추측하는 최신 기술이다. 빅데이터는 단순히 아주 많은 데이터를 의미하는 것이 아니라 대량의 데이터를 모으고, 모은 데이터를 분석하는 기술까지 포함한다. 사람들이 주고받은 이야기나 자녀의 동영상, 부모님의 유전자 정보 같은 데이터를 저장하고 분석한다. 이런 방대한 양의 분석을 위해서는 슈퍼컴퓨터와 클라우드 기술이 필요하다.

슈퍼컴퓨터 관련 벤처기업을 운영하는 저자는 빅데이터를 전문가적 관점에서 분석하면서도 다양한 사례를 끌어와 일반인이 알기 쉽게 풀이한다. 소셜네트워크서비스(SNS)는 대표적인 빅데이터 생산 시스템이다. 페이스북 트위터 블로그 등에는 수많은 이야기가 올라온다. 이 이야기를 분석하면 현재 민심 동향이 어떤지, 누가 많이 회자되는지, 어떤 이슈가 호응을 얻고 있는지 알 수 있다. 저자는 “오바마 대통령이 당선되는 데 빅데이터가 큰 역할을 했다”고 말한다. 오바마 캠프는 빅데이터 전문가들을 대거 기용해 유권자들의 성향, 동향, 상대 후보의 주장에 대한 파급효과 같은 것을 알아내 선거운동에 적극 활용했다는 것이다.

저자는 세계적 패스트 패션 기업 자라의 성공도 빅데이터 기술의 공이 크다고 전한다. 자라는 77개국 2000개 가까운 매장의 매출을 바로 집계해 추가 생산 물량과 매장별 공급 물량을 계산했다. 잘 팔리는 상품과 그렇지 못한 상품을 즉각 분석해 매장마다 주력 상품을 다르게 진열했다. 이를 통해 다양한 제품을 빨리 생산하면서 재고를 최소화하는 데 성공했다.

저자는 게놈 프로젝트의 예를 들며 의료기술 또한 빅데이터를 통해 발전하고 있다고 말한다. 개인별 유전정보 자체가 엄청난 양의 빅데이터다. 슈퍼컴퓨터의 분석을 통해 어떤 유전자가 어떤 병을 유발하는지 정보를 얻을 수 있다는 것. 또한 방대한 양의 수술 및 임상 의료정보를 분석, 환자 치료와 예방에 대한 정보를 얻을 수 있다고 말한다. 더불어 “왕따, 교권침해, 사교육과 같은 사회의 문제도 빅데이터가 해결의 열쇠가 될 수 있다”고 주장한다.

저자는 빅데이터 기술 또한 클라우드나 오픈소스 붐처럼 때마다 일어나는 IT 붐의 한 종류일 수도 있다고 말한다. 아직 초창기에 불과한 이 기술에 과도한 기대를 갖게 되면 괜한 IT 거품이 될 수도 있다는 얘기다.

최종석 기자 ellisica@hankyung.com