AI 조기 도입한 기업의 92%가 투자 대비 수익 실현

한국 ROI 41%, 오픈소스 모델 활용 및 RAG 방식 훈련 활발…전략적 의사결정에 AI 활용은 어려움 불구, LLM 도입 확대 예정

박혜연 기자

phy@datanews.co.kr | 2025.04.25 11:09:53

전 세계 기업들의 인공지능(AI) 도입에 따른 성과가 보고되고 있다.

25일 데이터뉴스가 글로벌 AI 데이터 클라우드 기업 스노우플레이크의 ‘생성형 AI의 혁신적 ROI’ 보고서를 분석한 결과, AI를 도입한 기업의 92%가 이미 AI 투자를 통해 실질적 ROI(투자수익률)를 달성했고, 98%는 올해 투자를 더욱 늘릴 계획인 것으로 나타났다.

이번 보고서는 스노우플레이크가 글로벌 시장 조사 기관 ESG (Enterprise Strategy Group)와 공동으로 AI를 실제 사용 중인 9개국 1900명의 비즈니스 및 IT 리더를 대상으로 진행한 설문조사 결과를 담았다.

설문 결과, 전반적으로 기업은 AI 초기 투자에서 성과를 거두고 있는 것으로 나타났다. 93%의 응답자는 자사의 AI 활용 전략이 ‘매우’ 또는 ‘대부분’ 성공적이라고 답했다. 특히 전체 응답자의 3분의 2는 생성형 AI 투자에 따른 ROI를 측정하고 있고, 1달러 투자당 평균 1.41달러의 수익을 올리며 ROI를 높이고 있는 것으로 집계됐다.

국가별 AI 성숙도에 따라 기업이 AI 역량을 주력하는 분야가 달랐으며, 이는 지역별 ROI 성과와 밀접한 연관이 있는 것으로 드러났다.

미국은 AI 투자 ROI가 43%로, AI 운영 최적화 측면에서 가장 앞서 있었다. 그뿐만 아니라 자사의 AI를 실제 비즈니스 목표 달성에 ‘매우 성공적’으로 활용하고 있다고 답한 비율이 52%로, 전체 응답국 중 가장 높았다.

한국의 경우 AI 투자 ROI는 41%로 나타났다. 보고서에 따르면 한국 기업은 AI 성숙도가 높은 편으로, 오픈소스 모델 활용, RAG (검색증강생성) 방식을 활용해 모델을 훈련 및 보강하는 비율이 각각 79%, 82%로 글로벌 평균인 65%, 71%를 상회했다.

특히 한국 기업들은 기술 및 데이터 활용에 있어 높은 실행 의지를 보이고 있다.

오픈소스 모델 활용(79%), RAG 방식의 모델 훈련 및 보강(82%), 파인튜닝 모델 내재화(81%), 텍스트 투 SQL (Text to SQL, 자연어로 작성한 질문을 SQL 쿼리로 자동 변환하는 기술) 서비스 활용(74%) 등 고급 AI 기술을 활용한다고 답변한 비율이 글로벌 평균을 크게 웃돌았다. 이러한 데이터 활용 역량은 비정형 데이터 관리 전문성(35%)과 AI 최적화 데이터 보유 비율(20%)에서도 확인된다.

한편, 이런 성과에 비해 전략적 의사결정에 AI 활용하는 데에는 어려움을 겪고 있는 것으로 나타났다. 조사 결과에 따르면 응답자의 71%는 ‘제한된 자원에 대비해 추진할 수 있는 AI 활용 분야가 매우 다양하고, 잘못된 의사결정이 시장 경쟁력에 부정적 영향을 미칠 수 있다’고 답했다.

또한 응답자의 54%는 ‘비용, 사업 효과, 실행 가능성 등 객관적 기준에 따라 최적의 도입 분야를 결정하는 데 어려움을 겪고 있다’고 밝혔다. 59%는 ‘잘못된 선택이 개인의 직무 안정성까지 위협할 수 있다’고 우려했다.

한국 기업의 경우 기술적 복잡성(39%), 활용 사례 부족(26%), 조직 내 협업 문제(31%) 등의 어려움을 겪고 있다고 답하며 아직 다양한 비즈니스 영역으로의 AI 확대는 더딘 것으로 나타났다.

그럼에도 향후 12개월 내 ‘다수의 대형언어모델(LLM)을 적극적으로 도입’하고 ‘대규모 데이터를 활용할 계획’이라고 답한 기업은 각각 32%, 30%로, AI 도입 확대에 관한 강한 의지를 드러냈다.

박혜연 기자 phy@datanews.co.kr