국가가 버린 세계적 수학자 이임학, '리군이론'으로 수학사에 족적

한국과학창의재단 공동기획
국민이 뽑은 과학자 (5) 이임학

미국 수학계가 못 푼 문제
47년에 풀어 세계무대 등장
한국인 첫 해외학술지 게재
MIT수학사전 오르기도

고(故) 이임학 캐나다 브리티시컬럼비아대 교수는 한국이 낳은 세계적 수학자다. 자신의 이름을 딴 ‘리군(Ree群)’ 이론으로 수학사에 족적을 남겼다.

그는 군론(group theory)을 연구했다. 군은 사물의 대칭성에 대한 개념을 수학으로 풀어놓은 용어다. 그는 군론을 완성하는 데 기여한 공로로 캐나다왕립학술원 회원이 됐다. 프랑스 수학자인 장 디외도네는 수학자의 역사서로 불리는 책 《순수 수학의 파노라마》에서 이임학을 군론의 공헌자로 기록했다. 임덕상 전 펜실베이니아대 교수와 함께 미국 매사추세츠공대(MIT)가 발행한 수학사전에 오른 단 두 명의 한국인이기도 하다.

그는 1922년 함경남도 함흥에서 태어났다. 수학 천재로 자질을 보인 것은 1939년 경성제대 입학 이후다. 김도한 서울대 명예교수는 “그는 대학생 시절부터 수학 천재로 조선인 학생들 사이에서 스타였다”고 기억했다.

해방 직후 서울대에서 학생들을 가르치던 그는 1947년 서울 남대문시장을 지나다가 쓰레기더미에서 우연히 미국 수학회지를 발견했다. 이 저널에는 당시 세계적 수학자였던 막스 초른의 논문이 실려 있었다. 그는 이 논문에서 ‘모르겠다’고 밝힌 부분을 풀어 편지를 보냈다. 그가 쓴 편지는 1949년 미국 수학회지에 공식 논문으로 실렸다. 그로서는 생애 처음 쓴 논문이면서 한국인이 최초로 해외 학술지에 실은 논문이다.

이 교수는 세계적 수학자지만 국내에선 잊혀진 인물이었다. 자유주의적 성향이 강하던 그의 성향 때문이다. 그는 ‘전체주의’에 대한 반감이 컸다. 경성제대 재학 시절 대학생에게도 식민지 국민교육헌장에 해당하는 ‘교육칙어’를 붓으로 써 내라는 과제가 주어지자 담임 교수를 머쓱하게 했다는 기록이 있다. 해방 후 서울대 교수로 재직하면서 미 군정이 비판적인 교수를 제거하고 대학을 재편하려고 하자 반대 견해를 밝히고 사임했다. 이후 북한 김일성대 초청을 받아 고향인 함흥을 찾았지만 북한 사회에 반감을 느끼면서 결국 탈출했다.

그는 6·25 전쟁 중에도 미국공보원에 가서 수학잡지를 보며 해외에 나가 제대로 공부해야겠다고 생각했다. 1953년 캐나다 브리티시컬럼비아대로부터 입학 허가를 받은 그는 증기선을 타고 한 달 만에 밴쿠버에 도착했다. 하지만 그는 2년 뒤 국적을 박탈당한다. 여권을 연장받으려고 한국 영사관에 갔다가 여권을 빼앗긴 것이다. 공부를 중단하고 돌아오라는 이승만 정부의 압박이었다. 하지만 그는 거부하고 캐나다에 남아 공부를 더 했다. 1960~1980년대 한국에 군사정권이 들어서면서 더욱 더 국내 입국은 어려워졌다. 그는 대신 기회가 되면 국제무대에서 남북의 수학자들과 자유롭게 만나 우정을 쌓았다. 캐나다 여권으로 북한을 찾기도 했다. 이런 이유로 그는 군사정권의 요주의 인물 명단에 올랐다. 서울대 교수 시절 제자였던 이정림 전 포스텍 교수는 대한수학회지에 낸 기고에서 “브리티시컬럼비아대 측에서 시민권을 가질 수 있도록 노력했지만 2005년 타계할 때까지 끝내 어느 국적도 갖지 않았다”고 회고했다.

국내 수학계는 이 교수의 업적과 그의 신원을 복권하려는 노력을 꾸준히 지속했다. 그는 1996년 대한수학회 50주년 기념식에 초청을 받아 비로소 한국땅을 밟을 수 있었다. 그는 이 자리에서 “한국 수학자들이 한쪽 분야에만 치우치지 않고 풀어야 할 문제가 많은 정수론과 같은 분야에 더 많이 도전하기 바란다”고 조언했다.

박근태 기자 kunta@hankyung.com