기업의 데이터 엔지니어들이 데이터 센터를 관리하고 있다.
기업의 데이터 엔지니어들이 데이터 센터를 관리하고 있다.
소셜미디어 링크트인이 조사한 바에 따르면 지난해 미국에서 가장 주목받은 직업은 빅데이터 엔지니어와 인공지능(AI) 엔지니어였습니다. 이 두 가지 직업은 겹치는 기술들이 많아 종종 같은 직업으로 분류가 됩니다. 하지만 실제로는 전혀 같지가 않습니다. 미국의 애널리틱스 인사이트가 꼽은 이들의 차이점이 뭔지 찾아봅니다.

데이터 엔지니어링은 데이터 분석과 수집의 실제 응용을 다루는 데이터 과학의 한 분야입니다. 빅데이터 엔지니어는 데이터 생산에서 활용까지 전 과정을 담당하는 기술자입니다. 이들은 비즈니스 의사 결정에 직접 연관되지는 않지만, 정보와 데이터를 누구나 더 쉽게 접근할 수 있도록 하는 시스템 개발에 중점을 둡니다.

데이터 엔지니어들은 기본적으로 방대한 데이터 볼륨을 저장하고 구성, 관리해야 하므로 데이터베이스의 설계와 아키텍처에 대한 깊은 이해가 필요합니다. 일반적으로 사용하는 두 가지 유형의 데이터베이스 SQL과 NoSQL을 알아야 하는 건 기본입니다. 원시 형식으로 존재하는 데이터를 가공해 활용할 수 있는 형태로 변환시키는 데이터 변환 작업도 엔지니어들의 중요한 임무입니다. 히보 데이타, 마틸리언, 탈렌드 등 관련한 도구도 숙지해야 합니다. 하나 이상의 소스에서 분석할 수 있는 대상으로 데이터를 이동하는 데이터 수집도 중요한 프로세스입니다. 이밖에 데이터 마이닝 작업과 실시간 프레임 워크 등도 엔지니어들이 해야 하는 작업입니다.
데이터 엔지니어는 본인의 적성이 필요한 분야이기도 합니다. 하지만 데이터를 관리하고 처리하는 경험이 축적돼야 훌륭한 데이터 엔지니어로 거듭날 수 있습니다. 데이터 기반이 든든해야 인공지능이 제대로 발휘할 수 있는 건 당연합니다.

AI엔지니어는 알고리즘과 항상 싸워야… 평생 학습 자세 필요

인공지능 엔지니어는 데이터를 추출해 알고리즘을 설계하고 머신러닝 모델을 실제로 구축하는 기술자입니다. 이들은 수학과 알고리즘 등 복잡한 로직에 익숙해야 합니다. 컴퓨터 알고리즘의 설계 및 분석 최적화, 실험 평가를 반복하면서 알고리즘의 이론과 실제 응용 사이의 격차를 해소하는 직업입니다. 기존 비즈니스 애플리케이션 논리체계와 기계학습의 논리 체계를 결합해 문제를 해결하는 역할을 합니다.
물론 이를 위해서 항상 알고리즘과 싸울 준비가 되어 있어야 하는 업종입니다. 마감 시간도 엄수해야 하고 평생 학습해야 하는 괴로움도 있습니다. 하지만 각자 팀을 조정하고 혁신에 대한 성취감을 맛본다면 인공지능 엔지니어가 나을 것입니다.
빅데이터 엔지니어와 인공지능 엔지니어들의 차이는 결국 개인의 관심과 선호도입니다. AI가 발전하면 할수록 이들 두 직종의 역할은 더욱 빛을 발할 것입니다.
오춘호 연구위원