[AI, 기업을 다시 짠다③] AI 지출 전사 확산 때 4배…기업들 ‘토큰 경제학’ 계산 시작

[KtN 김 규운기자]기업이 인공지능(AI)을 전사적으로 확대하면서 새로운 비용 구조가 드러나고 있다. 개별 실험과 제한적인 업무에 AI를 적용하던 단계에서 전사 배포로 이동한 기업의 AI 지출은 거의 4배까지 늘었다. 2026년 5월 실시된 'Enterprise AI FinOps' 조사에서는 유효 응답자의 93%가 AI 예산을 초과했다고 답했다. AI를 많이 쓰는 기업이 앞서가는 경쟁에서 사용량과 비용, 실제 사업 성과를 함께 계산하는 경쟁으로 무게가 옮겨가고 있다.

지난 2년간 기업의 AI 확산 과정에서는 더 많은 직원에게 도구를 제공하고 더 많은 업무에 생성형 AI를 적용하는 방식이 빠르게 퍼졌다. 일부 기업은 내부 AI 사용량을 순위로 공개하며 활용을 독려하기도 했다. 최근에는 분위기가 달라지고 있다. AI 사용량을 극대화한다는 의미의 '토큰맥싱(tokenmaxxing)'이 비용 관리 실패를 상징하는 표현으로 등장했고, 일부 기업은 AI 사용량 순위판을 없애기 시작했다.

AI 비용은 기존 소프트웨어 구독료와 구조가 다르다. 기업용 소프트웨어는 사용자 수를 기준으로 연간 사용료를 계약하는 방식이 일반적이었다. 생성형 AI와 에이전틱 AI에서는 토큰 사용량, API 호출 횟수, 선택한 모델, 연산 자원, 에이전트가 반복적으로 수행하는 작업의 횟수가 비용에 직접 영향을 미친다.

같은 업무도 항상 같은 비용으로 끝나지 않는다. AI 에이전트가 업무를 수행하면서 여러 모델을 순차적으로 호출하거나 결과가 만족스럽지 않아 다시 작업하면 토큰 사용량은 빠르게 늘어난다. 동일한 작업에서도 토큰 사용량이 최대 30배까지 차이 날 수 있다는 연구 결과도 비용 예측을 어렵게 만드는 요인으로 거론된다.

기업 내부에서 만들어지는 AI 애플리케이션도 지출 구조를 바꾸고 있다. 전문 개발자가 아니더라도 생성형 AI를 이용해 업무용 프로그램과 자동화 흐름을 만들 수 있게 되면서 중앙 정보기술(IT) 조직이 파악하지 못한 AI 사용량이 늘고 있다. 사업부서별로 별도의 AI 서비스를 구독하고, 클라우드 사업자와 기반모델 제공업체, 업무용 소프트웨어 안에서 각각 AI 비용이 발생하면서 전체 지출 규모를 한 번에 파악하기 어려운 기업도 생겼다.

AI 관련 지출의 20~30%가 여러 공급업체와 도구, 계약구조에 흩어져 전체 비용 집계에서 빠지는 경우가 있다는 분석도 나왔다. 기존 IT 예산에서 하나의 항목으로 관리하던 소프트웨어 비용과 달리 AI 비용은 클라우드, 모델, API, 데이터, 애플리케이션과 각 사업부서의 업무비용에 분산될 수 있다.

기업들이 '엔터프라이즈 AI 토큰 경제학(enterprise AI tokenomics)'에 관심을 돌리는 배경이다. 토큰 경제학은 단순히 토큰 한 개의 가격을 낮추는 방식에 머물지 않는다. 업무 성격에 맞는 모델을 선택하고, 모델 호출 경로를 조정하며, 에이전트의 행동 방식과 업무 흐름, 인프라 사용량까지 포함해 AI 소비 구조 전체를 관리한다.

비용을 적극적으로 최적화한 기업에서는 20~30% 수준의 절감 효과도 나타났다. 2026년 조사에서는 AI 비용 최적화를 시행한 기업 가운데 약 3분의 1이 최근 3개월 동안 20~30%의 비용 절감을 달성했다.

같은 AI 업무에 항상 최고 성능 모델을 사용할 필요가 없는 점도 비용 구조에 영향을 준다. 복잡한 추론이나 높은 정확도가 필요한 작업에는 대형 모델이 필요하지만 문서 분류와 요약, 번역, 반복 업무까지 동일한 모델에 맡기면 사용료가 빠르게 늘어난다. 업무별 요구 수준에 따라 모델을 나누고 필요한 품질을 충족하는 범위에서 비용이 낮은 모델로 작업을 배분하는 방식이 확산되는 이유다.

입력하는 정보의 양도 비용과 직결된다. 긴 문서 전체를 매번 모델에 보내거나 이전 대화 내용을 계속 포함하면 처리해야 할 토큰이 늘어난다. 반복적으로 사용하는 정보를 저장해 다시 활용하는 프롬프트 캐싱(prompt caching)은 검색증강생성(RAG)이나 긴 고정 문맥을 사용하는 AI 에이전트에서 반복 입력 비용을 크게 줄일 수 있다. 업무에 필요하지 않은 문맥을 제거하고 긴 대화를 요약한 뒤 다시 입력하는 방식도 같은 범주에 들어간다.

비용 관리가 정교해질수록 AI 사용량만 세는 지표의 비중은 낮아진다. 보험회사라면 처리한 청구 한 건당 AI 비용, 제조기업이라면 생산 공정 개선으로 줄어든 원가, 고객서비스 조직이라면 상담 한 건당 처리비용과 해결률을 함께 볼 수 있다. AI 사용 횟수가 늘어났다는 사실보다 투입한 비용이 매출 증가나 업무시간 감소, 품질 개선으로 이어졌는지를 측정하는 방식이다.

2편에서 확인한 생산성 격차도 비용 문제와 맞닿아 있다. AI 개발도구를 사용하는 엔지니어 가운데 대다수의 생산성 향상은 약 3%에 머물렀지만 상위 20%에서는 평균 55%에 달했다. 같은 도구에 비용을 지불하더라도 얻는 결과가 크게 다르다면 AI 지출 확대 자체를 성과로 볼 수 없다.

에이전틱 AI가 확산될수록 비용 관리는 더 복잡해진다. 기존 생성형 AI에서는 사람이 한 번 질문하고 한 번 답을 받는 방식이 많았다. 에이전트는 하나의 목표를 달성하기 위해 계획을 세우고 정보를 찾고 다른 프로그램을 호출하며 결과를 검토한 뒤 다시 작업할 수 있다. 사용자가 한 번 명령해도 내부에서는 수십 차례의 모델 호출이 일어날 수 있다.

AI가 기업의 업무 자동화를 깊게 파고들수록 비용을 통제하는 방식도 IT부서만의 업무에서 벗어나게 된다. 어느 사업부서가 얼마의 AI 자원을 사용했는지, 해당 사용량이 어느 제품과 서비스에서 발생했는지, 비용만큼 사업 가치가 만들어졌는지를 함께 관리해야 하기 때문이다. 클라우드 비용을 사업부서별로 배분해 관리해 온 핀옵스(FinOps)가 AI 영역으로 확장되는 구조다.

한국에서는 국가 단위의 AI 투자가 빠르게 커지고 있다. 이재명 정부의 2026년 범정부 AI 예산은 10조1000억원 규모다. 과학기술정보통신부가 담당하는 AI 예산만 5조1000억원으로, 전국 단위 AI 전환과 과학기술 혁신 등에 투입된다. 국가AI전략위원회도 2026년 범정부 AI 예산과 'Korea AI Action Plan'을 연계해 세부 사업을 조정하는 체계를 가동하고 있다.

AI 고속도로 구축에는 GPU와 데이터, 국가 AI 컴퓨팅센터가 들어가고 산업·공공·지역의 AI 전환도 동시에 추진된다. 연산자원 확보와 독자 AI 모델, 핵심 인재 육성, 산업 AX가 한꺼번에 확대되면서 국가 AI 전략도 인프라를 얼마나 확보했는지만으로 성과를 설명하기 어려운 단계로 들어가고 있다.

기업의 토큰 경제학을 국가 예산에 그대로 적용할 수는 없다. 정부 투자는 기초 연구와 인프라, 인재 양성처럼 단기간의 수익으로 평가하기 어려운 영역을 포함한다. 다만 대규모 연산자원과 AI 서비스가 산업과 공공부문에 공급될수록 투입된 컴퓨팅 자원이 실제 연구성과와 기업 생산성, 행정 효율로 얼마나 연결되는지는 점차 중요한 정책 지표가 될 수밖에 없다.

GPU 가동률만 높이는 것과 산업 경쟁력을 높이는 것도 같은 의미가 아니다. 대형 모델이 필요하지 않은 업무까지 고성능 연산자원을 사용하거나 여러 기관이 비슷한 기능의 AI 시스템을 중복 구축하면 컴퓨팅 자원은 빠르게 소모된다. 반대로 업무 특성에 맞춰 모델과 연산자원을 배분하고 공통으로 활용할 수 있는 기반을 구축하면 같은 인프라에서도 더 많은 AI 서비스를 운영할 수 있다.

2026년 범정부 AI 예산 10조1000억원을 다루는 국가AI전략위원회는 'Korea AI Action Plan'을 통해 AI 혁신 생태계와 전 사회적 AI 전환을 함께 추진하고 있다. 인프라 확보 규모가 커질수록 사업별 사용량과 성과, 중복 투자, 연산자원 배분을 연결하는 관리체계의 비중도 커진다.

기업 현장에서는 이미 같은 변화가 시작됐다. AI 사용을 독려하는 단계에서 업무별 비용을 계산하고, 모델을 나누고, 사용량을 사업 성과와 연결하는 단계로 이동하고 있다. 적극적인 최적화로 20~30%의 비용을 줄인 기업들이 등장한 것도 AI 경쟁의 기준이 사용량에서 경제성으로 넓어지고 있음을 나타낸다.

AI가 기업 전체와 국가 산업정책으로 확산될수록 비용 문제는 기술의 주변 변수가 아니라 운영 구조의 일부가 된다. 모델 하나를 더 도입하는 결정부터 에이전트가 반복적으로 사용하는 토큰, 데이터센터에서 소비하는 연산자원까지 비용이 이어진다. 2026년 AI 경쟁은 더 많이 쓰는 단계에서 같은 비용으로 더 높은 가치를 만들어내는 단계로 이동하고 있다.