오케스트로-퓨리오사AI, 국산 NPU 기반 AI 인프라 상용화 맞손

AI 인프라 소프트웨어(SW) 기업 오케스트로 그룹이 퓨리오사AI와 국산 NPU를 활용한 AI 인프라 시장 확대에 나선다.

오케스트로 그룹은 AI 반도체 기업 퓨리오사AI와 지난 18일 서울 강남구 퓨리오사AI 본사에서 ‘NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력’을 위한 업무협약을 체결했다고 밝혔다.

양사는 이번 협약을 통해 퓨리오사AI의 2세대 NPU ‘RNGD(레니게이드)’와 오케스트로의 AI 인프라 SW를 결합해 기술 검증부터 고객 실증, 실제 구축까지 협력을 확대한다.

두 회사는 올해 초부터 RNGD와 오케스트로 AI 인프라 SW의 연동 작업을 진행해왔다. 퓨리오사AI NXT RNGD 서버를 오케스트로의 AI 인프라 환경에 구축해 호환성과 주요 기능을 점검하고, RNGD에서 대규모언어모델(LLM)을 안정적으로 배포하고 운영할 수 있는 기술을 개발했다.

이를 통해 오케스트로는 GPU 중심으로 지원하던 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 RNGD까지 지원하도록 확장했다. 콘체르토 AI는 AI 모델 배포·서빙부터 컴퓨팅 자원 관리와 서비스 모니터링까지 통합 지원하는 플랫폼이다. RNGD 지원을 통해 고객이 별도로 NPU 기반 LLM 서빙 환경을 구성해야 하는 부담을 낮췄다.

특히 지능형 라우팅과 토폴로지 기반 스케줄링 기능을 적용해 요청 유형과 가속기 자원에 따라 적절한 추론 경로를 구성할 수 있도록 했다. 이를 기반으로 GPU와 NPU 등 서로 다른 AI 가속기를 서비스와 워크로드 특성에 맞춰 운영할 수 있다.

이번 협약은 그동안 진행한 기술 협력을 실제 사업으로 연결하는 데 초점을 맞췄다. 양사는 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 인프라의 성능과 안정성을 검증하고, 고객 대상 벤치마크테스트(BMT)와 실증을 거쳐 실제 서비스에 적용할 구축·운영 모델을 마련할 계획이다.

사업 협력도 강화한다. 공공·금융·기업 고객의 AI 서비스와 워크로드 특성에 맞는 RNGD 기반 인프라를 공동 설계·제안하고, 실증 결과를 실제 구축사업으로 연결해 산업별 레퍼런스를 확보한다는 구상이다. 공동 영업·마케팅과 기술 지원을 통해 신규 사업 모델도 발굴한다.

중장기적으로는 GPU와 NPU를 함께 활용하는 이기종 AI 인프라 기술로 협력 영역을 넓힌다. 다양한 AI 모델과 추론 런타임, 가속기를 통합 운영·모니터링하는 기술을 고도화해 워크로드에 따라 컴퓨팅 자원을 효율적으로 배분할 수 있는 환경을 구현할 방침이다.

오케스트로는 이번 협력을 자사의 AI 인프라 풀스택 SW와도 연계한다. 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’, 클라우드 네이티브 운영관리 플랫폼 ‘비올라(VIOLA)’, 멀티·하이브리드 클라우드 통합관리 플랫폼 ‘오케스트로 CMP’, 데브옵스 솔루션 ‘트럼본(TROMBONE)’ 등을 활용해 AI 인프라 구축부터 운영·통합관리까지 사업 영역을 확대할 계획이다.

두 회사는 국산 AI 모델과 AI 가속기, 인프라 소프트웨어를 결합한 ‘K-AI 인프라’ 생태계 확대에도 힘을 모은다. 퓨리오사AI의 RNGD와 오케스트로의 인프라 소프트웨어를 결합해 공공·금융·기업의 프라이빗 AI와 소버린 AI 수요를 공략하고, 구축 사례를 축적해 국산 NPU의 적용 분야를 넓힌다는 전략이다.

강동식 기자 lavita@datanews.co.kr