양자컴퓨터보다 AI가 먼저 은행금고 털게 되나

그러나, 이같은 암호체계가 양자컴퓨터에 앞서, 인공지능(AI)에 의해 위협받을 수 있다는 경고가 잇따라 제기되고 있다. AI의 수학적 능력이 획기적으로 발전하면서, 암호체계가 무너지는 시점이 예상보다 훨씬 빨리 찾아올 수 있다고 미국 경제지 월스트리트저널(WSJ)과 영국 경제지 파이낸셜타임스(FT)등이 최근 잇따라 보도했다. 현재 사용 중인 컴퓨터와 AI만으로 암호체계의 허점을 찾아낼 가능성이 제기되면서, 금융권의 보안 전략에도 변화가 불가피해지고 있다.

WSJ와 FT에 따르면 현재의 암호체계를 양자컴퓨터가 뚫을 날이 오고 있다. 하지만, AI가 양자컴퓨터보다 이를 먼저 뚫어낼 수 있다는 것이다.

수학적 자물쇠와 열쇠는 우리의 은행 계좌와 이메일, 그리고 인터넷상의 거의 모든 정보를 안전하게 지켜줘 왔다. 그런데, 이 자물쇠와 열쇠가 우리가 생각했던 것보다 훨씬 허술한 것으로 드러난다면 어떻게 될까? 우리가 매일 의존하는 비밀번호 기반의 인터넷 보안체계가 한순간에 붕괴한다면, 과연 어떤 일이 벌어질까?

오랫동안 이 같은 디지털 재앙을 초래할 잠재적 위협으로 양자컴퓨터가 지목돼 왔다고 WSJ는 밝혔다. 엔지니어들은 수십 년 전부터 양자컴퓨터의 등장을 준비해 왔다. 막대한 자금력을 가진 악의적인 해커들이 이 양자컴퓨터를 악용할 가능성에도 대비해 왔다.

그 결과물이 바로 ‘양자내성암호’라고 WSJ는 설명했다. 세계적인 수학 전문가들에 따르면, 전 세계 디지털 시스템을 새로운 암호체계로 질서 있게 전환해야 한다. 그래야, 전환하지 않을 경우에 발생할 수 있는 대재앙을 막을 수 있다. 암호체계가 무너지면, 기술적으로 세계가 100년 전으로 되돌아가는 것과 같은 상황이 벌어질 수 있다는 것이다.

그런데 이제, 이 양자내성암호보다 더 시급할 수 있는 새로운 문제가 등장했다. AI의 놀라운 수학적 능력이 바로 그것이라고 WSJ는 지적했다. 

AI는 여러 수학 분야에서 전례 없는 속도로 발전을 이끌고 있다. 인간의 보잘것없는 지능으로는 수백 년 동안 해결하지 못했던 난제들을 AI가 하나씩 정복하고 있다. 이러한 발전이, 암호화된 통신을 안전하게 지켜주는 수학적 난제에 대한 새로운 해법을 찾아내는 데까지 이어질 수 있다고 전문가들이 우려하고 있다. 

암호체계가 계속 작동하려면, 암호화를 가능하게 하는 알고리즘에 대한 우리의 기본적인 가정이 계속 유효해야 한다고 WSJ는 전제했다. 특정한 수학적 연산이 한 방향으로는 쉽게 풀리지만, 반대 방향으로 되돌리는 것은 매우 어렵다는 가정이 그중 하나다.

대표적인 사례는 소인수분해. 두 개의 큰 소수를 곱하는 것은 비교적 간단하다. 하지만, 그렇게 만들어진 매우 큰 숫자를 다시 원래의 두 소수로 분해하는 것은 기존 컴퓨터로는 사실상 불가능에 가깝다. 그러나 앞으로도 이러한 전제가 계속 유효할 것이라고 장담할 수 없다고 일부 암호학자들은 주장하고 있다.

WSJ에 따르면, 수학자들이 암호를 해독할 수 있는 공식을 찾아온 과정에 대해 존스홉킨스대 암호학자이자 부교수인 매튜 그린은 다음과 같이 말한다. “수많은 뛰어난 사람들이 오랫동안 암호기술을 연구해 왔다. 암호체계가 안전하다고 믿는 이유 중 상당 부분은 아직 문제점을 발견하지 못했기 때문이다. 하지만 이제, 우리가 깨닫고 있는 것은 인간이 직접 들여다보는 것이 더 이상 최고의 기준이 아니라는 사실이다. 이제는 그것 자체가 별로 의미가 없어졌다.”

이는 제2차 세계대전 당시 벌어졌던 암호 해독 경쟁을 떠올리게 한다고 WSJ는 밝혔다. 앨런 튜링과 블레츨리 파크의 연구팀은 폴란드 엔지니어들이 개발한 전기기계식 장치를 발전시켜, 독일군의 악명 높은 에니그마 암호를 해독하는 방법을 찾아냈다.

당시 수많은 뛰어난 전문가들은 에니그마 암호를 절대로 풀 수 없다고 생각했다. 그러나 튜링이 개발한 장치는 이러한 믿음이 틀렸다는 사실을 증명했다. 제2차 세계대전 당시 블레츨리 파크에서 사용된 암호 해독 장치 ‘봄브(Bombe)’는 여러 줄의 회전 드럼을 이용해 독일군 에니그마 암호를 해독했다.

그린은 AI 연구소들이 최근 수학 분야에서 이룬 획기적인 성과를 그 근거로 제시한다. 여기에는 △오랫동안 해결되지 않았던 난제인 나비에-스토크스(Navier-Stokes) 방정식의 부분적인 해법과, △보다 최근에 등장한 지수 시간 가설(ETH·Exponential Time Hypothesis)을 반박하는 연구 성과가 포함된다. 이 가운데 특히, 두 번째 성과가 일부 연구자들을 불안하게 만들고 있다고 WSJ는 우려했다.

지수시간 가설은 오랫동안, 특정 문제를 해결하는 데 지름길이 존재하지 않는다는 것을 시사해 왔다. 즉, 그런 문제를 해결하려면 결국 긴 계산 과정을 거쳐야 한다는 것이다. 그런데 만약 이 가설이 틀렸다면? 

이론 컴퓨터과학 분야에서 수십 년 동안 축적해 온 연구 성과가 무의미해질 수도 있다. 이러한 문제를 해결하는 지름길이 존재한다면, 그 지름길을 활용해 지금까지 '절대로 해독할 수 없다'고 여겨졌던 암호를 훨씬 쉽게 풀 수 있기 때문이다.

비탈릭 부테린도 이 같은 위험을 경고했다. 그는 현대 가상화폐 시스템의 기반이 되는 ‘이더리움 프로토콜’을 만들었다. 오픈AI와 앤스로픽이 최근의 수학적 돌파구를 발표하기 전인 10월 초, 그는 자신의 소셜미디어 엑스(X)에 다음과 같이 썼다.

“AI가 수학 발전을 가속화함으로써 암호체계에 초래할 수 있는 위험을 심각하게 받아들여야 한다. 양자컴퓨터에 취약한 암호기술뿐 아니라, AI에 취약할 가능성이 있는 암호기술에 대한 우리의 노출도 최소화해야 한다.” 인도 뭄바이에서 열린 이더리움재단 연례 콘퍼런스에서도 그는 같은 경고를 반복하며, ‘포스트 AI 암호기술(Post-AI Cryptography)’의 필요성을 주장했다.

현재 전 세계에서 사용되는 암호 알고리즘이 이미 해독됐다는 증거는 없다고 그린은 강조한다. 그러나 앞으로 AI가 이룰 수학적 돌파구는, 암호체계의 근간을 이루는 수학적 원리에 보다 직접적으로 영향을 미칠 가능성이 있다고 우려한다.

그렇다면 우리는 얼마나 걱정해야 할까? 이 문제를 놓고 전문가들 사이에서는 치열한 논쟁이 벌어지고 있다.

WSJ에 따르면, 암호체계가 곧 붕괴할 것이라는 근거 없는 추측은 시기상조일 뿐 아니라 무책임할 수도 있다고 주장하는 전문가도 있다. 미국 가상자산 거래소 코인베이스의 암호학 책임자이자 이스라엘 바르일란대 컴퓨터과학 교수인 예후다 린델은 “무슨 일이든 일어날 수 있다. 하지만 나쁜 일이 일어날 수 있다고 추측하는 것만으로는, 누구에게도 도움이 되지 않는다”고 주장한다. 그는 현재 대학에서 휴직 중이다. 

린델은 특히, 현재 단계적으로 도입되고 있는 양자내성암호 알고리즘이 AI의 수학적 발견에 취약해 기존의 보안체계를 다시 설계해야 할 수도 있다는 주장에 반대한다. 그는 오히려, 지금까지의 증거는 정반대의 가능성을 보여준다고 말한다. 양자내성암호 알고리즘은 어떤 종류의 컴퓨터를 이용한 공격에도 대부분 견뎌낼 가능성이 높다는 것이라고 WSJ는 해석했다. 

또한 AI가 암호 알고리즘을 무력화하는 대신, 오히려 더욱 강력하게 만드는 데 기여할 수도 있다고 그는 지적한다. 최악의 경우에도, 엔지니어들이 해야 할 일은 암호화 키의 길이를 늘리는 정도일 수 있다고 설명한다. 암호화 키란, 안전한 정보 교환에 사용하는 숫자다. 키의 길이를 늘리면, 온라인에서 끊임없이 이뤄지는 암호화와 복호화 작업이 느려질 수 있다. 하지만 인터넷 서비스를 사실상 사용할 수 없게 만들 정도는 아니라는 것이다.

이더리움 프로토콜 창시자 비탈릭 부테린은 AI 시대에 대응하는 새로운 암호기술인 ‘포스트 AI 암호기술’의 필요성을 주장했다고 WSJ는 지적했다. 암호학 전문가들이 서로 다른 의견을 보이는 이유는, 아직 해결되지 않은 근본적인 수학적 문제에 대해 견해가 다르기 때문이라는 것이다.

그린과 같은 전문가들은 수학이라는 거대한 미지의 세계 어딘가에, 아직 발견되지 않은 ‘흰 긴수염 고래(White Whale)’와 같은 난제가 존재한다고 생각한다. 그들은 AI의 혁신으로 암호 알고리즘이 붕괴할 수 있다고 우려한다. 만약 지금까지 ‘불가능하다’고 여겨졌던 일부 수학 문제를 현재의 컴퓨터로도 해결할 수 있게 만드는 새로운 발견이 나온다면, 디지털 보안의 자물쇠 역시 약해질 수 있다는 것이다.

반면, 수학자들이 수십 년 동안 축적해 온 연구 결과를 고려하면 그러한 가능성은 극히 낮다고 린델과 같은 전문가들은 생각한다. “AI가 암호 분석에 도움을 주지 않을 것이라고 주장하는 것은 아니다. 오히려 AI가 암호 분석에 상당히 큰 도움을 줄 가능성이 높다고 생각한다” 고 린델은 설명한다. 그럼에도, 자신의 연구 분야 전체를 떠받치고 있는 근본적인 수학적 가정이 앞으로도 유지될 것이라고 그는 믿는다. 즉, 어떤 문제들은 지름길을 이용해도 결코 해결할 수 없을 정도로 어렵다는 것이 전제다. 

최악의 상황을 가정하더라도, 현대 암호체계가 안전하지 않다는 사실을 발견하는 주체가 오픈AI나 앤스로픽 같은 AI 연구소이기를 린델은 바란다. 북한 같은 해킹 조직이 아니어야 한다는 것이다. 이들 기업은 보안 취약점을 발견하면 이를 공개해 엔지니어들이 보완할 수 있도록 하는 전통을 갖고 있기 때문이다. 

그는 다음과 같이 덧붙였다. “북한이 어떤 시스템을 해킹하고도 다른 사람들에게 그 사실을 알리지 않는 상황을 우리는 원하지 않는다.”

반면, 암호체계를 업데이트하는 데 수년이 걸린다는 점에서 취약점을 조용히 공개하는 것만으로는 충분하지 않을 수 있다고 그린은 우려한다. “앞으로 무슨 일이 벌어질지 우리는 전혀 알지 못한다”고 그는 생각한다. 

FT 역시 “수학 분야에서의 AI 발전은, 암호기술에 가장 시급한 위협이 양자컴퓨터의 등장이라는 기존의 가정에 의문을 제기하고 있다”고 했다. 맨체스터대의 암호수학 교수인 대니얼 시우(Daniel Shiu)는 AI가 암호기술을 해독할 가능성이 특히 수학적 구조에 크게 의존하는 암호기술에서 ‘중대한 위험(significant risk)’으로 떠오르고 있다고 지적했다.

영국 금융감독청(FCA)은 “AI와 양자컴퓨팅이 발전하면서 사이버 위협도 빠르게 진화하고 있다”며, 새로운 기술이 초래할 암호기술 위험에 금융회사들이 얼마나 잘 대비하고 있는지 평가하기 위해 50개 대형 금융기관을 대상으로 새로운 감독 도구를 시험하고 있다. FCA는 영국에서 감독하는 3만5000개 이상의 금융서비스 기업들이 AI와 양자컴퓨터의 위험에 대응할 수 있도록 이달 중 실무 지침을 발표할 계획이다. 

FT에 따르면, 영국 통신기업 브리티시 텔레콤(BT)도 양자컴퓨터가 미래에 초래할 위협에 대비해 새로운 암호화 방식으로 전환할 준비를 하고 있다. BT는 암호기술이 표준과 기술, 위협 환경의 변화에 따라 더욱 쉽게 교체될 수 있도록 하는 데 집중하고 있다고 덧붙였다. 즉, 앞으로는 특정 암호 알고리즘을 한 번 도입해 장기간 사용하는 방식이 아니라, 새로운 보안 위협이 나타날 때마다 암호기술을 신속하게 교체할 수 있는 체계를 구축하겠다는 것이다.

권선무 기자