"1분 만에 전세계 온라인 쇼핑 데이터 1만건 수집"
데이터 생산량이 기하급수적으로 증가하면서 웹크롤링 시장도 급성장하고 있다. 웹크롤링이란 검색엔진 로봇을 통해 인터넷에 있는 수많은 데이터를 자동으로 수집하는 기술을 말한다. 가전·화장품·식품·패션·게임업계에서 전세계 온라인쇼핑몰 가격 비교와 페이스북 트위터 인스타그램 등 소셜미디어에 나온 고객 반응 등을 분석할 때 웹크롤링 기술을 활용하고 있다. 세계 웹크롤링 시장 규모는 8조4000억원(2020년 기준)으로 추산된다.

전문 개발자(프로그래머)였던 김재훈 유펜솔루션 대표(사진)는 소수 업체가 독점하고 있는 ‘웹크롤링 기술’을 대중화해야겠다는 생각에 2018년 회사를 창업했다. 국내에 많은 웹크롤링업체가 있지만 클라우드 기술을 기반으로 대중에 웹서비스를 해주는 곳은 이 회사가 유일하다.

보통 일반 기업이 웹크롤링 서비스를 받으려면 전문 개발자를 동원해 별도의 프로그램을 제작해야 했다. 하지만 이 회사의 웹크롤링 서비스 ‘스파이더킴’을 활용하면 코딩을 배울 필요 없이 마우스 클릭 몇 번으로 몇 초 만에 전 세계 데이터를 수집·분석할 수 있다. 구독형 요금제(월 15만~50만원)로 기존 프로그램 제작·설치 비용(400만~500만원)에 비해 가성비도 뛰어나다는 평가다. 세계 최대 정보기술(IT) 리서치회사인 가트너는 지난 6월 “미래에 꼭 필요한 웹크롤링 기술을 가장 쉽게 소비자에게 전달한 제품”이라고 호평했다.

이 회사가 기업 고객에 맞게 설계한 ‘맞춤형 서비스’도 인기다. 최근 한 글로벌 대형 식품업체는 유펜솔루션에 의뢰해 국내 배달앱에 나온 18만 개 음식점의 메뉴·매장 정보를 웹크롤링해 자사 제품의 마케팅 정보로 활용했다. 당초 세계 유수의 웹크롤링업체에 의뢰해도 불가능한 작업이었지만 유펜솔루션의 독보적인 모바일앱 정보 수집 기술로 가능했다. 국내 한 대기업은 최근 코로나19로 닫혔던 하늘길이 다시 열리자 세계 40~50개 항공사, 200~300개 노선의 항공권을 시기·좌석·신용카드 할인별로 최저가를 실시간 비교할 수 있는 시스템을 유펜솔루션을 통해 구축했다.

이 회사의 강점은 데이터 수집량과 속도다. 김 대표는 “인공지능(AI), 빅데이터 기술을 통해 전 세계 1만개 이상의 웹사이트 유형과 구조를 학습해 보통 데이터 1만 건 수집에 1분도 안 걸린다”며 “자체 조사 결과 미국 최대 웹크롤링업체보다 속도 면에서 크게 앞서는 것으로 나왔다”고 말했다. 김 대표는 국내외 수요가 폭발적으로 늘면서 내년 매출 목표를 올해의 6배 수준인 수십억원 규모로 예상했다.

김 대표는 “누구나 손쉽게 이용할 수 있는 데이터 활용 기술을 개발해 우리나라가 데이터 강국으로 발전하는 데 기여할 것”이라고 말했다.

안대규 기자 powerzanic@hankyung.com