"초당 1144만개 메시지 분석해 정보로 만들어"
"인터넷과 모바일에 떠다니는 무의미할 수 있는 자료들이 정부나 기업에 중요한 정보가 될 수 있습니다. 앞으로는 이런 정보를 어떻게 활용하느냐에 따라 비즈니스 성과가 크게 달라질 것입니다. "

로버트 애쉬 IBM소프트웨어그룹 BA(Business Analytic) 부문 총괄사장(사진)은 26일 기자와 만나 "트위터 페이스북 등 소셜 미디어에서 쏟아지는 비정형화한 데이터들이 중요해지고 있다"며 이같이 말했다.

최근 세계 정보기술(IT)업계의 새로운 트렌드 중 하나는 '대용량 데이터의 실시간 분석'이다. 매일 쏟아지는 수십만 테라바이트의 자료를 어떻게 가공해 얼마나 빨리 유의미한 정보로 활용하느냐는 것.예를 들어 어떤 사람이 트위터에서 친구에게 무심코 던진 "비가 올 때 ◆◆에 가면 좋다"는 말도 데이터로 축적하면 기업 마케팅이나 정부의 교통정보 시스템 등에 중요한 정보가 된다.

IBM이 지난 25일부터 28일까지 미국 라스베이거스에서 개최하고 있는 콘퍼런스 'Information on Demand 2010'에서도 역시 이 문제가 최대 화두였다. IBM은 콘퍼런스 기간 내내 '대용량 데이터의 실시간 분석'을 위한 새로운 제품과 고객들의 성과를 설명하는 데 주력했다.

IBM이 실시간 분석에 사용하는 RTAP(real time analytic processing) 기술은 초당 1144만개의 메시지를 분석할 수 있다. 예컨대 주식매매 시스템에 어떤 메시지를 전달했을 때 주식을 살 것인지 팔 것인지 결정하는 데 0.00013초면 충분하다.

애쉬 사장은 "자료는 넘쳐나지만 정작 쓸모 있는 정보는 많지 않다"며 "새롭게 등장한 '대용량 데이터의 실시간 분석' 툴이 기업들의 신속하고 정확한 의사결정에 도움을 줄 것"이라고 말했다.

그는 2008년 금융위기가 기업들의 정보에 대한 인식을 바꾸는 계기가 됐다고 지적했다. "투명성에 대한 관심이 커지면서 무정형의 데이터를 통해서도 잠재적인 위험 요소를 파악하려는 욕구가 생겨났다"는 것이다. 그러나 고객 정보의 무작위 추출은 프라이버시 침해라는 문제에 부딪칠 수 있다. 이에 대해 애쉬 사장은 "익명의 정보라면 문제가 되지 않겠지만 특정인에 대한 정보라면 엄격하게 관리해야 한다"며 "데이터를 활용하는 현장에서 이런 기준들이 마련돼야 한다"고 강조했다.

IBM은 지난 4년 동안 140억달러를 투자해 SPSS 등 24개의 데이터 분석 관련 기업을 인수했다. 애쉬 사장은 "IBM의 투자를 보면 대용량 실시간 분석 시장이 얼마나 중요한지 짐작할 수 있을 것"이라며 "앞으로 이 분야는 IT 시장에 비해 2배 이상 빨리 성장할 것"이라고 전망했다.

라스베이거스=김태완 기자 twkim@hankyung.com