알고리즘 매매의 출발점은 1976년 미국 뉴욕 증권가에 도입된 ‘프로그램 매매’였다. 프로그램 매매란 컴퓨터에 특정 조건을 입력한 뒤 시장 상황이 이 조건에 맞으면 자동 거래되는 시스템을 말한다. 예컨대 주식 현물값은 떨어지고 선물값은 올라 현·선물 간 가격차가 미리 입력해놓은 수준 이상으로 벌어지면 저평가된 현물은 사고 고평가된 선물을 파는 식이다. 현물과 선물 가격이 만기에는 결국 수렴한다는 것을 활용한 무위험 전략이다.

프로그램 매매의 성패는 순간적인 가격 차이를 빨리 포착하는 데 있었다. 기술자들은 ‘속도’를 끌어올리는 데 힘을 쏟았고, 2000년대 들어 0.001초 만에 주문이 완료되는 시스템이 도입됐다. 프로그램 매매가 ‘초단타매매’로 진화한 것이다.

2013년 기준 알고리즘 매매가 미국 영국 독일 등 국가별 전체 거래량에서 차지하는 비중은 40~70%에 이른다. 국내 파생상품 시장에서 차지하는 비중이 50%에 육박한다는 분석도 있다. 비용이 덜 들고 주문 속도가 빠르다는 장점 덕분에 ‘컴퓨터 의존도’는 높아지고 사람의 투자 판단은 설 자리를 잃는 추세다.

문제점도 있다. 알고리즘 매매는 짧은 시간에 많은 주문을 쏟아내기 때문에 소수만 체결되고 나머지 주문은 취소된다. 이는 매매 시스템의 과부하를 초래한다. 컴퓨터의 오작동이나 주문 실수시 큰 혼란을 초래하기도 한다. 2010년 5월6일 미국 다우지수가 5분 만에 500포인트 이상 급락한 ‘플래시 크래시’의 원인도 초단타 매매 트레이더의 주문 실수로 추정되고 있다.

미국 등 선진국들은 알고리즘 매매에 대한 ‘가이드라인’을 만들어 규제를 강화하는 분위기다. 그러나 증시 전문가들은 상품 간 미세한 가격 불균형도 투자기회로 포착하는 알고리즘 매매의 특성을 감안하면 앞으로 증권시장에서 컴퓨터 간 거래가 훨씬 늘어날 것으로 전망하고 있다.

황정수 기자 hjs@hankyung.com