“글로벌 금융계, 700년 지켜온 ‘오컴의 면도날’ 원칙 뒤엎나”

미국 예일대와 스위스 취리히 연방공대 연구진은, 방대한 매개변수를 활용한 초복잡 모델이 오히려 미래 수익률을 더 정확히 예측할 수 있다고 발표했다. 이는 단순성이 미덕이라는 금융의 전통적 ‘오컴의 면도날’ 원칙에 정면으로 도전하는 것이라고 영국 시사주간지 이코노미스트가 최근 보도했다.

‘오컴의 면도날’ 원칙은 ‘어떤 현상을 설명할 때 가장 단순한 설명이 최선’이라는 명제를 담고 있다. 사회과학의 기본 원리이자 금융경제학자들에게는 거의 신앙과도 같다. 14세기 수도사 윌리엄 오컴의 이름을 따왔다. 이코노미스트에 따르면, 오컴의 원칙은 지금 법정에 선 셈이다. 

오늘날 금융 분석가들은 복잡성을 지나치게 높인 ‘과적합(overfitting)’을 두려워한다. 과적합이란, 현재의 데이터 또는 학습 데이터(training data)에 무리하게 적합시켜 새로운 데이터에 대한 적합도, 일반화(generalization) 성능이 떨어지는 것. 복잡성을 지나치게 높이면 현재의 데이터에는 잘 들어맞지만, 미래 예측에는 실패하게 된다.

그러나 새로운 연구를 보면, AI의 대규모 머신러닝 모델에서는 단순함보다 복잡성이 더 유리할 수 있다. 만약 이것이 사실이라면 현대 투자 방법론은 근본적으로 뒤집힐 수 있다. 논쟁은 2021년 시작됐다. 

예일대 브라이언 켈리와 캉잉 저우, 그리고 스위스 취리히 연방공대 세미온 말라무드는 ‘수익 예측에서 복잡성의 미덕(The Virtue of Complexity in Return Prediction)’이라는 논문을 발표했다. 켈리와 공동저자들은 단 12개월 분량의 데이터를 가지고 무려 1만2000개의 매개변수(parameter)를 가진 모델을 시험했다. 

‘오컴의 면도날’이 경고하는 것과 정반대로, 지나친 복잡성을 투입한 것이다. 그런데 놀랍게도, 이 모델은 오히려 미래 예측력을 높였다. 연구진은 묻는다. “혹시 ‘오컴의 면도날’이 아니라, ‘오컴의 실수(Occam’s blunder)‘ 아닐까?”

이는 단순한 학문적 논쟁을 넘어 막대한 파급력을 지닌다. 켈리는 동시에 세계적 퀀트 헤지펀드인 에이큐알(AQR)의 포트폴리오 매니저이기도 하다. 한때 이 회사는 경쟁사보다 더 단순한 모델을 사용하는 것으로 유명했다 하지만, 이제는 ‘복잡성의 미덕’을 받아들이고 있다. 켈리의 주장에 따르면, 데이터 과적합을 두려워하다가 오히려 데이터 ‘과소적합(underfitting)’을 간과해온 셈.

소규모 데이터셋으로도 더 나은 예측이 가능하다면, 이는 엄청난 수익을 낼 수 있다. 금융 연구는 샘플 부족과 실험 불가능성 때문에 제약을 많이 받는다. 추가 데이터를 얻으려면 시간이 걸리며, 어떤 영역은 애초에 사례가 매우 드물다. 

시장 붕괴, 뱅크런, 국가부도 같은 극단적 사건을 연구할 때는 현대사에 사례가 몇 건밖에 없다. 그래서 헤지펀드들은 막대한 돈을 들여 대체 데이터—중국 철도 물류의 위성사진, 소셜미디어에서 긁어낸 투자자 심리 등—를 확보한다.

최근 이 논쟁은 더욱 뜨거워졌다고 이코노미스트는 밝혔다. 켈리와 공동저자들은 비판의 포화를 맞고 있다. 옥스퍼드대 알바로 카르테아, 치 진, 스유안타오 쉬는, 데이터가 부정확하거나 노이즈가 많을 경우 복잡성의 미덕이 사라질 수 있다고 주장한다. 시카고대 스테판 나겔은, 소규모 데이터셋에서 복잡한 모델은 사실상 단순한 ‘모멘텀 트레이딩(주식의 가격상승 또는 하락추세를 추종해 따라가는 투자방법) 전략’을 흉내낸 것일 뿐이며 그 성과는 ‘행운의 우연’일 수 있다고 반박한다. 이에 켈리와 말라무드는 또 다른 논문으로 반격했다.

아직 오컴의 면도날을 완전히 매장하기는 이르다. 그러나 회의론자들조차도 “복잡한 모델이 단순한 모델보다 나은 예측을 할 수 있다”는 가능성 자체는 부정하지 않는다. 다만 모든 상황에서 그렇지는 않다는 것이다. 

만약 복잡성이 실제로 장점이 된다면, 투자업계는 크게 바뀔 것이라고 이코노미스트는 내다봤다. 최고의 머신러닝 엔지니어를 채용하는 것이 어느 때보다 중요해질 것이고, 데이터 정제 능력도 핵심 경쟁력이 된다. 구글이나 메타가 수억 달러를 주고 데려가는 슈퍼스타 코더들이 앞으로는 투자업계에서도 몸값을 올릴 수 있다.

이코노미스트에 따르면, 또한 대형 투자사일수록 유리해진다. 초거대 모델을 훈련하고 실행하려면 막대한 컴퓨팅 자원이 필요하기 때문이다. 테크 기업들이 슈퍼스타 코딩 개발자들에게 제공하는 10억 달러(약 1조 3863억 원)에 가까운 연봉 패키지는 투자 회사에서도 나타나기 시작할지 모른다. 이는 자연스럽게 대형 헤지펀드에게 ‘해자(moat)’가 돼, 경쟁을 막아줄 수 있다. 대형사는 더 다양한 자산군에서 실험할 수 있지만, 소형사는 따라가기 어려워진다.

위험은 또 있다. 인간은 아직도 첨단 머신러닝 모델이 내부적으로 어떻게 작동하는지 이해하지 못한다. 투자자들은 점점 더 ‘블랙박스 알고리즘’에 의존하게 될 것이며, 이는 해석이 거의 불가능하다. 

단순 모델은 쉽게 구현할 수 있고, 투자자가 그 원리를 이해하거나 조정하기도 쉽다. 돈을 벌 때는 아무도 문제 삼지 않는다. 그러나 만약 이 새로운 모델들이 잘못 작동한다면—단순한 저성과에서부터 전략 전체 붕괴까지—그때는 복잡성을 잘라낼 (면도날) 도구를 다시 그리워할지도 모른다고 이코노미스트는 강조했다.

권세인 기자