[CIO 전환①] AI 서비스 준비 85%, 유연한 IT 조직은 24%

[KtN 전성진기자]기업 정보기술(IT) 책임자의 85%가 앞으로 3년 안에 인공지능(AI)을 적용한 비즈니스 서비스를 제공할 계획이다. 사업 수요에 따라 유연하게 바뀌는 IT 운영체계를 효과적으로 구축했다는 최고정보책임자(CIO)는 24%에 그쳤다. AI 도입 계획은 빠르게 확산됐지만 기술을 사업 성과로 전환할 조직 기반은 이를 따라가지 못하고 있다.

가트너가 2026년 하반기 발간한 ‘CIO 보고서’는 기업이 직면한 기술 전환을 신기술 선택의 문제가 아닌 운영체계 개편의 문제로 다뤘다. CIO의 50%는 IT 조직이 변화 속도를 따라가지 못한다고 답했다. 역동성과 적응력이 높은 매출 성장에 필수적이라고 본 경영진은 73%였다.

AI와 클라우드, 엣지 컴퓨팅에 대한 기업의 기대는 높아졌지만 투자 결정과 시스템 구축, 사업 현장 적용 사이에는 상당한 거리가 남아 있다. 신기술을 구입한 뒤 기존 조직에 추가하는 방식으로는 의사결정 속도와 사업 대응력이 함께 높아지기 어렵다.

AI가 기존 IT 운영체계에 들어오면 업무 단계가 줄어들기보다 새로운 절차가 추가되기 쉽다. 사업 부서는 활용할 업무를 선정하고, 데이터 조직은 학습·검색 자료의 품질을 관리한다. 보안 조직은 정보 유출과 접근 권한을 검토하고, 법무 부서는 저작권과 책임 문제를 따진다. 구매 조직은 모델과 클라우드 계약을 협상하며 재무 부서는 투자 대비 수익을 요구한다.

부서별 판단이 순차적으로 진행되면 모델의 응답 속도와 무관하게 실제 서비스 출시는 늦어진다. 기존 시스템과 AI 서비스를 연결하는 과정에서도 별도의 개발과 시험, 보안 승인이 필요하다. 기술 성능은 수개월 단위로 달라지지만 기업의 예산과 계약, 인력 배치는 연간 계획에 묶여 있는 경우가 많다.

기업 아키텍처의 역할도 달라지고 있다. 과거에는 중앙 조직이 기술 표준과 시스템 구조를 정하고 각 사업 부서가 이를 따르는 방식이 일반적이었다. AI와 클라우드 사용이 늘면서 사업 부서가 필요한 기술을 직접 선택하거나 외부 서비스를 연결하는 비중이 커졌다. 모든 결정을 중앙에서 승인하면 속도가 떨어지고, 선택권을 각 부서에 넘기면 비용과 보안 기준이 흔들릴 수 있다.

가트너는 중앙 통제와 현장 자율성을 조정하는 방식으로 ‘가드레일’ 중심의 운영을 제시했다. 기업 차원에서는 보안과 데이터, 비용, 책임 기준을 정하고 구체적인 기술 선택과 활용은 사업 부서에 맡기는 구조다. 기업 아키텍처 조직도 정해진 문서를 전달하는 역할에서 벗어나 실시간 정보와 자동화된 점검 도구를 제공하는 방향으로 재편된다.

의사결정권을 현장 가까이 옮기는 변화는 엣지 컴퓨팅 확산과도 맞물린다. 생산시설과 물류 현장, 매장, 이동 장비에서 데이터가 만들어지면 모든 정보를 중앙 시스템으로 보낸 뒤 판단하기 어렵다. 현장에서 처리해야 할 업무가 늘어나는 만큼 중앙 조직은 개별 결정보다 허용 범위와 책임 기준을 관리하게 된다.

AI 시대의 IT 운영체계는 기술 부서만 바꿔서는 작동하기 어렵다. 최고경영자와 최고운영책임자, 최고재무책임자는 기술 전략과 사업 목표를 연결하고 투자 재원을 배분해야 한다. 최고데이터책임자는 데이터 품질과 AI 활용 기준을 맡는다. 최고정보보호책임자는 시스템 설계 단계부터 보안과 규제 준수를 반영해야 한다.

소프트웨어 개발 조직은 기존 애플리케이션을 현대화하면서 AI 기반 개발 방식을 도입한다. 구매·조달 조직은 AI와 클라우드 공급업체를 평가하고 계약 조건과 서비스 수준을 관리한다. AI 투자에서 발생하는 비용과 위험이 여러 부서에 걸쳐 있는 만큼 CIO 단독으로 성과와 책임을 떠맡는 방식에는 한계가 있다.

운영체계 개편이 늦어질수록 AI 투자의 성과 측정도 어려워진다. 사용 인원과 생성한 문서 수, 처리한 질의량은 집계할 수 있지만 매출 증가나 비용 감소, 업무 처리시간 단축과 직접 연결되지 않을 수 있다. 사업 목표를 먼저 정하지 않은 채 이용률만 높이면 기술 사용은 확대돼도 재무 성과는 분명하게 나타나지 않는다.

가트너는 낡은 IT 운영체계 때문에 2028년까지 기업의 50%가 AI에서 측정 가능한 사업가치를 얻지 못할 것으로 전망했다. 투자 실패의 범위가 모델 선택이나 기술 구현에 머물지 않고 조직 구조와 성과 관리로 넓어졌다는 의미다.

AI 비용은 기존 소프트웨어 예산과 다른 흐름을 보인다. 정액 사용료를 지급하는 기업용 소프트웨어와 달리 생성형 AI와 클라우드는 사용량에 따라 비용이 증가할 수 있다. 여러 사업 부서가 각기 다른 모델과 서비스를 도입하면 계약과 데이터가 분산되고 중복 지출도 늘어난다. 시험 단계에서 낮았던 비용이 전사 배포 이후 급증할 가능성도 있다.

CIO에게 필요한 통제 대상도 서버와 소프트웨어 자산에서 모델 사용량, 데이터 이동, 외부 공급업체, AI 에이전트의 권한으로 확대된다. AI 에이전트가 기업 시스템에 접속해 자료를 조회하거나 구매와 승인 업무를 수행하면 사람에게 부여하던 접근 통제와 감사 절차를 자동화된 행위까지 적용해야 한다.

지정학적 불안은 AI와 클라우드 운영체계에 또 다른 부담을 더한다. 이사회 구성원의 70%는 지정학적 불안과 국제 분쟁을 기업의 가장 큰 외부 위협으로 꼽았다. 반도체와 데이터센터, 해저 통신망, 클라우드 서비스가 특정 국가와 기업에 집중된 상황에서 지역 분쟁과 수출 통제, 공급망 차질은 IT 운영 중단으로 이어질 수 있다.

특정 공급업체에 대한 의존도를 낮추기 위해 멀티클라우드와 하이브리드 클라우드를 도입하면 선택지는 넓어진다. 반면 여러 환경을 함께 운영하는 비용과 기술적 복잡성은 커진다. 공급업체를 늘리는 것만으로 복원력이 생기는 것은 아니다. 데이터 이전 가능성, 대체 서비스 전환 시간, 계약 종료 조건, 장애 발생 시 책임 범위를 미리 정해야 실제 중단에 대응할 수 있다.

재해복구 계획도 기존 전산센터 장애를 넘어 클라우드 지역 장애와 AI 모델 공급 중단, 국가 간 데이터 이전 제한을 반영해야 한다. 운영체계의 복원력은 시스템 복제 수보다 중단 이후 의사결정권과 복구 순서가 얼마나 구체적으로 정해져 있는지에 좌우된다. 사업 부서와 IT 조직, 보안·위험관리 조직이 서로 다른 복구 기준을 적용하면 핵심 업무의 정상화가 늦어질 수 있다.

기업이 AI에서 사업가치를 얻으려면 기술 도입과 함께 예산·조달·책임 구조를 바꿔야 한다. 신규 모델을 평가하는 기준에는 정확도와 처리 속도뿐 아니라 기존 시스템과의 연결 비용, 데이터 이동 범위, 공급업체 변경 가능성, 중단 시 복구 시간이 포함돼야 한다.

성과 평가도 기술 구축 완료에서 사업 운영의 변화로 옮겨갈 필요가 있다. 서비스 출시 기간과 고객 처리시간, 운영비, 장애 복구시간, 중복 시스템 수처럼 기업 활동과 연결되는 지표가 있어야 AI 투자의 효과를 판단할 수 있다. AI 사용량이 늘었다는 사실만으로는 매출 성장과 비용 절감, 사업 연속성을 설명하기 어렵다.

2028년까지 남은 기간 동안 기업의 AI 투자는 계속 확대될 가능성이 크다. 성패를 가를 조건은 더 많은 모델을 도입하는 속도가 아니다. 의사결정권을 어디까지 현장에 넘기고, 여러 공급업체와 시스템을 어떤 기준으로 관리하며, 투자 책임을 경영진과 사업 부서가 어떻게 나눌지가 기업별 성과를 갈라놓게 된다.