한국과학기술정보연구원(KISTI)은 대용량 과학데이터를 전송하는 빅데이터 익스프레스를 미국 페르미국립가속기연구소, 오크리지국립연구소와 공동 개발했다고 15일 발표했다.

빅데이터 익스프레스는 대용량 과학데이터를 신속하고, 효율적으로 전송하는 기술이다.

최근 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급으로 증가함에 따라 단일 기관에서 대용량 데이터 처리는 사실상 불가능하다.

이에 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 필요한 시점에서 빅데이터 익스프레스를 개발했다.

빅데이터 익스프레스는 대용량 과학데이터 전송의 효율성을 극대화 하는 기술로, 기존 데이터 전송방법들이 가진 문제점을 극복했다.

KISTI는 자체 테스트에서 과학데이터 전송에 자주 사용되는 GridFTP 보다 3분의 1 정도 높은 성능을 보였다고 소개했다.

과학데이터 전송 시 큰 문제인 LOSF문제 테스트에서도 GridFTP 보다 약 100배 정도 빠른 전송 속도를 보였다고 설명했다.

KISTI는 이번 공동연구를 통해 데이터 전송 SDN 네트워크인 아메바넷을 개발했고, 지난 14일(현지시간) 미국 덴버에서 열린 ‘슈퍼컴퓨팅 컨퍼런스 2017’에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.

KISTI 노서영 대용량데이터허브실장은 “거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다”며 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다”고 말했다.

대전=임호범 기자 lhb@hankyung.com