KT, 500개 AI 모델 통합한 ‘토큰팩토리’ 출시…AI 비용 25% 절감

KT는 국내외 인공지능(AI) 모델을 통합 제공하고 이용 비용과 보안을 관리할 수 있는 AI 플랫폼 ‘KT 토큰팩토리(KT Token Factory)’를 선보였다고 27일 밝혔다.

KT는 기업이 업무 특성에 맞춰 여러 AI 모델을 선택하고 사용량과 비용을 관리할 수 있도록 토큰팩토리를 개발했다고 설명했다. AI 모델마다 성능과 가격, 전문 분야가 다른 만큼 개별 서비스를 이용하는 대신 하나의 플랫폼에서 효율적으로 활용할 수 있도록 한 것이 특징이다.

KT는 글로벌 AI 모델 유통 플랫폼 기업 오픈라우터(OpenRouter)와 국내 최초로 공식 파트너십을 맺고 500개 이상의 AI 모델을 확보했다고 밝혔다. 고객은 토큰팩토리에서 모델 검색과 선택부터 이용량 조회, 비용 확인, 결제까지 처리할 수 있다.

특히 KT가 자체 개발한 ‘오토 모델 라우터(Auto Model Router)’를 적용해 AI 운영비용을 줄였다. 이 기술은 업무의 종류와 난이도, 요구되는 답변 품질, 비용 등을 분석해 적합한 모델을 자동 배정한다.

간단한 질문에는 비용이 저렴한 경량 모델을 활용하고, 복잡한 분석은 고성능 모델을 연결한다. 오토 모델 라우터는 글로벌 AI 모델 선택 성능 평가인 ‘RouterArena’에서 종합 1위를 기록했다.

한국어에 특화된 프롬프트 압축 기술도 도입했다. 질문에서 중복되거나 불필요한 표현을 줄여 입력 토큰 사용량을 최소화하면서 답변 품질을 유지하도록 설계했다. KT는 자체 모델 선택 및 압축 기술을 통해 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.

데이터 주권과 보안 확보에도 초점을 맞췄다. 해외 AI 서비스 이용에 따른 정보 유출 우려를 줄이기 위해 국내 KT 데이터센터에서 AI 추론 서비스를 제공한다.

KT는 자체 개발 AI 모델과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등을 국내 인프라에서 이용할 수 있는 환경을 마련했다. 기업은 데이터 관리 요구사항에 따라 모델을 선택하면서도 국내 인프라를 활용할 수 있다.

AI 이용 과정의 위험을 관리하는 가드레일(Guardrail) 기술도 적용했다. 사용자가 입력하는 질문에 개인정보나 민감정보, 유해한 표현이 포함됐는지 검사하고 AI가 생성한 답변도 점검한다.

특히 한국어 환경에 맞춘 탐지 기술을 지속적으로 개선하고 있으며, 향후 기업별 보안 정책에 따라 정보 검출 대상과 차단 기준을 설정하는 기능도 추가할 예정이다.

토큰팩토리는 KT가 통신사업에서 확보한 네트워크 연결과 이용량 기반 과금, 보안 기술을 AI 분야로 확장한 사업이다. 여러 AI 모델을 하나의 플랫폼에 연결하고 토큰 사용량에 따라 비용을 산정하는 방식으로 기존 통신사업의 운영 역량을 활용했다.

KT는 오는 30일 토큰팩토리를 정식 출시한다. 초기에는 다양한 AI 모델을 사용하면서 운영비용을 관리하려는 기업 고객을 중심으로 서비스를 제공하고, 이후 고객층과 지원 기능을 확대할 방침이다.

글로벌 사업 확대도 추진한다. KT는 오픈라우터와 협력해 국내에서 제공하는 AI 모델의 해외 유통을 모색하고, 해외 AI 모델과 국내 소버린 AI 인프라를 연계할 계획이다.

이와 함께 AI 코딩 및 에이전트 전문기업 유라클, CAST AI, 기업용 AI 워크스페이스 기업 타임리 등과 협력을 확대한다. 업스테이지와 다음 등 ‘모두의 AI’ 컨소시엄 참여사들과도 협력해 AI 인프라부터 모델, 서비스까지 연결하는 사업 생태계를 구축할 예정이다.

박상원 KT AX사업부문장은 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.

강동식 기자 lavita@datanews.co.kr