글꼴 하나 바꿀 때도 실험…뱅크샐러드가 152개 실험하는 이유

장한솔 뱅크샐러드 매니저가 지난 5일 서울 여의도 뱅크샐러드 본사에서 실험플랫폼에 대해 설명하고 있다. 뱅크샐러드 제공

'152' 지난 5일 기자와 인터뷰를 진행한 장한솔 뱅크샐러드 실험플랫폼팀 프로덕트매니저(PM)의 노트북에는 이런 숫자가 떠 있었다. 뱅크샐러드가 앱사용자를 대상으로 진행 중인 실험갯수다. 뱅크샐러드는 연구소가 아니면서도 실험을 한다. 글꼴 하나 바꿀 때도 어김없이 실험을 한다.

뱅크샐러드에서는 모든 사업이 실험을 거쳐 나온다. '마이데이터' 기업이기 때문이다. '마이데이터'는 개인이 자신의 소중한 신용정보를 한 회사에 몰아준만큼, 신용정보를 받은 회사도 그 개인에게 최적화된 서비스를 제공하는 사업이다. 개인이 원하는 것을 가장 확실하게 찾아내는 방식이 실험이다. 뱅크샐러드 실험플랫폼팀은 이런 실험을 전담한다.

실험플랫폼팀은 미국 실리콘밸리에서 일반화됐지만, 아직 한국에서는 'A/B테스트'라는 이름으로 각 부서에서 진행을 하고 별도 조직을 꾸린 회사는 많지 않다. 핀테크사 중에서는 뱅크샐러드가 2019년 최초로 도입했다. 장 매니저에게서 실험플랫폼이 뭔지 설명을 들어봤다.

▶실험플랫폼이 무엇인가요.

앱사용자가 원하는 게 뭔지를 찾아주는 내부서비스입니다. 제육볶음을 예로 들어볼게요. 식당 갔을 때 주인은 고객이 제육볶음을 얼마나 맵게해야 주문을 많이할 지 알고 싶을 수 있잖아요. 더 맵게 하면 많이 먹을 것 같다? 그런 가설을 검증하게 해주는 역할이죠. 손님 절반한테는 지금보다 맵게, 나머지 절반은 원래 제육볶음으로 내오는 거에요. 추가로 음료까지 주문하는지 확인하면 더 좋죠.

▶이용자들이 원하는 게 뭔지 찾아주는 거군요.

제품팀이 세운 가설을 실험할 수 있게 하는 역할이죠.(뱅크샐러드에는 자산팀, 가계부팀, 건강팀, 투자팀, 신용팀, 연말정산팀, 자동차팀, 주거팀, 노후팀, 사업팀 등의 제품팀이 있다.) 예를 들어 제품팀이 카드 추천 알고리즘을 만들어보겠다고 해요. 실제로 고객이 추천받은 카드에 만족하는지 데이터로 확인할 수 있어야죠. 그러면 그 알고리즘을 적용한 실험군과 기존 알고리즘을 이용하는 대조군을 두고 실험을 하는 거에요.

▶실험기간은 얼마나 되나요.

실험은 2주 정도 진행한다고 보면 됩니다. 2주동안 테스트를 거쳐서 어떤 가설이 이겼다고 판단하면 전체 고객에게 배포하죠. 어떤 실험은 자산 탭에서 하고, 어떤 건 노후 탭에서 하는 식입니다. 실험군은 적어도 50만명 정도라고 보면 될 것 같아요. 실험 데이터를 만들어내고, 어떤 지표를 써야 '만족한다'는 의미를 담아낼 수 있을 지 등을 고민하는 게 실험플랫폼팀 역할입니다.

▶실험이 서비스 개선에 효과가 있나요

최근에 했던 실험은 이런 게 있어요. 탭 순서를 어떻게 하는 게 가장 좋을까 하는 주제였어요. 가장 자주 방문하는 탭이나 제일 오랫동안 머무르는 탭이 뭔지.

특히 주식 시세 확인하기 서비스가 있어요. 원래 주식 투자현황을 끌어오려면 금융사를 추가하는 방식이 편하겠지만, 금융사들이 해외주식 정보를 안 줘요. 그래서 자기가 가진 주식이름을 입력하고 시세를 가져와서 자산으로 직접 추가할 수 있게 하는 실험을 해봤어요. 자산에서 주식 추가하는 비율이 200% 늘더라고요. 당연히 많이 이용하지 않을까 하는 가설을 데이터로 확인하는 거죠.

▶실험결과를 다른 부서와 공유하나요.

주식 시세 확인하기 서비스가 성공을 거두고 나면, 암호화폐를 추가해볼까? 보험상품을 다이렉트로 추가해볼까? 하는 식으로 실험결과가 다른 조직까지 퍼지죠. 실험리뷰회의라는 걸 해요. 해당 주간동안 실험을 하는 18개 팀 모두가 참석하는데, 보통은 의사결정을 하는 사람이 들어가서 결과를 갖고 피드백을 하죠.

▶실험 결과가 나오면 직원들이 모여서 회의를 하나보네요.

크게는 분기마다 전 조직이 낸 성과를 발표하는 얼라인먼트 데이가 있어요. 어떤 실험을 했는지, 성과가 어땠는지, 뭘 배웠는지 공유하는거죠.

분기마다 하면 너무 늦을 수 있기 때문에 일주일마다 제품전략회의를 합니다. 제품지표를 공유하는 날이지만, 실험결과도 서로 알려주죠.

다른 팀에서 무슨 실험을 하는지는 굳이 회의에 가지 않아도 실험플랫폼에서 확인할 수 있어요. 개발자가 아니어도 이해할 수 있게 구성돼있습니다.

▶실험성과가 있는 것으로 나오면 어떻게 앱에 반영하나요.

실험이 유의미하다고 판단이 되면 주간 실험리뷰회의를 해요. 앱 구성도 그 때 상의를 해보는 거에요. 가계부 방문 숫자가 늘었을 때 건강탭 방문자수가 줄었다고 가정합니다. 관계자들이 모여서 우선 실험 결과와 지표가 유효한지에 대해 리뷰를 해요. 가계부를 앞 쪽으로 배치하면 건강탭 방문자수가 줄 수 있는데 괜찮을까요? 하면 "다른 거 준비하니까 괜찮아요"라고 답하는 식이에요.

▶실험플랫폼이 어떻게 생긴 건가요.

생긴지는 2년 정도 됐습니다. 실리콘밸리에서는 이미 일반화된 조직이에요. CTO(김태호 최고기술책임자)가 쿠팡 미국지사에 있다가 리프트(차량공유서비스 회사)를 거쳐서 2019년에 합류하면서 생겼죠. 오자마자 '왜 실험플랫폼이 없냐'고 경악하더라고요. 테스트도 없이 실사용자에게 적용을 하냐면서요.

▶해외에서는 일반화된 조직인가보네요.

마이크로소프트는 2013년부터 도입했고, 넷플릭스가 지금으로선 가장 실험을 잘 한다고 생각해요. 한국에서도 일부 대형 빅테크가 도입하고 있어요. 개인화된 플랫폼을 구축하는 핵심이니까요. 뱅크샐러드도 입사하자마자 배우는 것이 실험플랫폼에 대한 이해에요. 실험문화를 전파하는 게 가장 우선입니다.

박진우 기자 jwp@hankyung.com