[칼럼] AI가 바꾸는 기업, 기술보다 조직이 먼저 바뀐다

[KtN 김 규운기자]같은 인공지능(AI) 도구를 쓰는데 생산성 향상은 한쪽에서 3%에 머물고 다른 쪽에서는 55%까지 올라갔다. 맥킨지가 2026년 소프트웨어 개발자를 조사한 결과다. 기술은 같아도 기업이 얻는 결과는 같지 않았다.

전 세계 기업이 생성형 AI와 에이전틱 AI를 빠르게 도입하고 있지만 이제 경쟁은 도입 여부만으로 설명하기 어려워졌다. 직원에게 AI 계정을 지급하고, 코딩 도구를 붙이고, 사내 챗봇을 구축하는 단계는 빠르게 보편화되고 있다. 같은 모델을 경쟁사도 살 수 있고 비슷한 서비스를 누구나 이용할 수 있다.

차이는 AI가 기업 안에서 실제로 일하기 시작한 뒤 벌어진다.

개발자가 AI로 코드를 더 빨리 작성해도 검토와 시험, 보안 확인, 승인, 배포가 예전 방식 그대로라면 개발기간 전체가 같은 비율로 줄지 않는다. 영업조직이 AI 분석을 받아도 가격 결정과 고객 대응 권한이 여러 관리단계를 거쳐야 한다면 판단 속도는 크게 달라지지 않는다. 보고서를 만드는 시간이 절반으로 줄어도 보고 절차와 결재선이 그대로라면 확보한 시간은 조직 안의 다른 단계에서 다시 소모된다.

AI가 사람 한 명의 작업 속도를 높이는 것과 기업 전체의 생산성을 끌어올리는 것은 다른 일이다.

맥킨지가 집계한 생산성 격차가 의미 있는 이유도 여기에 있다. AI 도구를 사용하는 소프트웨어 엔지니어 가운데 약 80%는 평균 3% 안팎의 생산성 향상에 머물렀지만 상위 20%는 평균 55%까지 올라갔다. 약 18배의 차이다. 전 세계 약 3000만명의 엔지니어가 상위 그룹 수준에 가까워질 경우 최대 8000억달러의 새로운 가치가 생길 수 있다는 추산도 나왔다.

8000억달러를 만드는 것은 AI 프로그램 자체가 아니다. 이미 존재하는 기술을 조직이 얼마나 제대로 사용할 수 있는지가 가치의 크기를 결정한다.

생산성을 높게 끌어올린 기업들은 업무 과정까지 손보기 시작했다. 사람이 하던 작업 중 AI가 맡을 부분을 나누고, 검토 방식과 책임 범위를 다시 정한다. 개발에서 기획과 코드 작성, 시험, 오류 수정, 배포가 하나의 흐름으로 이어지도록 만들고 여러 단계에서 반복되던 보고와 확인을 줄인다.

에이전틱 AI가 확산되면 변화 폭은 더 커진다. 생성형 AI가 사람이 내린 질문에 답하는 도구였다면 AI 에이전트는 목표를 받은 뒤 업무 순서를 정하고 필요한 정보를 찾아 다른 프로그램을 호출하며 결과를 검토한 뒤 다시 작업할 수 있다.

사람과 소프트웨어의 관계가 달라지는 셈이다.

직원은 AI가 만든 초안을 받는 사람에서 여러 AI가 수행한 결과를 검증하고 예외를 판단하는 쪽으로 이동한다. 관리자는 정보를 취합해 보고서를 만드는 일보다 여러 결과 가운데 방향을 정하고 자원을 배분하는 역할에 더 많은 시간을 쓰게 될 수 있다. 개발자도 코드를 직접 작성하는 시간보다 AI가 만든 코드를 검토하고 구조와 보안 문제를 판단하는 일이 중요해진다.

직무의 내용이 바뀌면 평가와 교육도 따라 바뀌어야 한다.

AI로 일을 빨리 끝낸 직원에게 남은 시간만큼 다시 업무를 얹는 방식이라면 기술이 만든 생산성은 업무량 증가로 돌아온다. 불필요한 절차를 없애고 새로운 제품과 서비스를 만들 수 있도록 권한과 평가방식을 함께 바꾸면 생산성 향상은 기업의 성장으로 연결될 수 있다.

신입 인력을 키우는 방식도 달라질 가능성이 크다. 자료 조사와 정리, 초안 작성처럼 과거에는 경력을 쌓는 과정에서 맡았던 초급 업무 상당 부분을 AI가 처리할 수 있기 때문이다. 단순 업무가 줄어든 자리에 판단 능력과 전문성을 어떻게 축적하게 할지는 기업이 새로 설계해야 할 인력 문제다.

AI 시대의 인재 경쟁이 개발자 숫자로 끝나지 않는 이유다. AI를 사용할 줄 아는 사람보다 AI가 내놓은 결과의 품질을 판단하고 자신의 전문 분야와 결합할 수 있는 사람의 가치가 더 커질 수 있다.

비용 구조도 기업 운영을 바꾸고 있다.

기존 기업용 소프트웨어는 직원 수나 계약 기간을 기준으로 비용을 예상하기 쉬웠다. AI는 다르다. 토큰 사용량과 모델 호출 횟수, 선택한 모델의 크기, 처리하는 데이터의 양, 에이전트가 몇 번이나 작업을 반복하는지에 따라 비용이 달라진다.

사람이 질문을 한 번 보내고 답변을 한 번 받는 환경에서는 사용량을 비교적 쉽게 계산할 수 있다. 에이전트가 업무를 계획하고 검색하고 문서를 읽고 다른 프로그램을 실행한 뒤 결과를 검토하고 다시 작업하면 사용자가 한 번 내린 명령 뒤에서 수십 번의 모델 호출이 일어날 수도 있다.

기업이 AI 활용을 독려하던 단계에서 비용까지 계산하기 시작한 배경이다.

최근 기업 현장에서는 AI 사용량을 무조건 늘리는 ‘토큰맥싱(tokenmaxxing)’에 대한 시각도 달라지고 있다. AI를 얼마나 많이 사용했는지보다 어느 업무에 얼마를 쓰고 어떤 결과를 얻었는지를 따지는 방향으로 이동하고 있다. 맥킨지는 AI 비용을 적극적으로 최적화한 기업에서 20~30% 수준의 절감 효과가 나타날 수 있다고 분석했다.

모든 업무에 가장 크고 비싼 모델을 사용할 필요는 없다. 복잡한 추론과 정밀한 판단에는 고성능 모델이 필요하지만 단순 분류와 요약, 반복 업무는 상대적으로 가벼운 모델로 처리할 수 있다. 매번 긴 자료를 다시 입력하는 대신 반복되는 정보를 저장하고 필요한 내용만 불러오는 방식도 비용을 낮춘다.

AI 비용 관리가 단순한 정보기술 예산 절감과 다른 이유가 있다. 어느 모델을 선택할지 결정하는 순간 업무 품질과 처리속도, 비용이 동시에 달라진다. 결국 기술 선택이 곧 경영 판단으로 연결된다.

조직을 바꾸지 않은 기업에서는 AI가 기존 업무의 속도만 높일 가능성이 있다. 조직을 다시 설계하는 기업에서는 기술이 업무 자체를 바꿀 수 있다.

맥킨지의 기업 분석에서도 AI를 통해 높은 재무적 성과를 내는 기업들은 운영모델을 폭넓게 재설계하는 비율이 높게 나타났다. AI 도구를 먼저 구입한 뒤 기존 업무에 넣기보다 업무 흐름을 먼저 정리하고 AI가 맡을 부분을 설계하는 방식이다.

CEO의 역할도 달라질 수밖에 없다.

어느 모델을 구매할지는 기술부서가 결정할 수 있다. 어느 업무를 AI에 넘기고 어느 판단을 사람에게 남길지, AI가 만든 생산성을 인력 감축에 사용할지 신규 사업에 투자할지, 자동화 뒤 책임은 누가 질지 결정하는 일은 기술부서의 범위를 넘어선다.

인력과 비용, 조직, 보상체계, 위험관리까지 연결되는 순간 AI는 최고경영자의 경영 의제가 된다.

변화의 폭은 연구개발 분야에서 더 선명하게 나타난다.

생명과학에서는 AI가 문서 작성과 데이터 정리를 넘어 질병과 분자를 탐색하고 신약 후보를 설계하는 과정에 들어가고 있다. 방대한 논문과 실험 데이터를 분석한 뒤 실험 조건을 제안하고, 사람이 직접 검토하기 어려운 규모의 분자 후보를 가상환경에서 걸러낼 수 있다.

신약개발 과정은 오랫동안 순차적으로 진행됐다. 질병의 치료표적을 정하고 후보물질을 설계한 뒤 전임상과 임상을 차례로 거친다. AI가 들어오면 초기 단계부터 분자 구조와 환자군, 임상 가능성, 생산 조건을 동시에 검토하는 방식이 확대될 수 있다.

속도가 빨라졌다고 성공이 보장되는 것은 아니다.

아무리 좋은 분자를 빨리 만들어도 처음 선택한 질병 기전이 잘못됐다면 임상에서 실패할 수 있다. 세포와 동물에서 얻은 결과가 사람에게 그대로 나타난다는 보장도 없다. AI가 계산 시간을 줄이는 것과 환자를 대상으로 안전성과 효과를 확인하는 시간은 별개의 영역이다.

AI가 기업의 병목을 없애기보다 다른 곳으로 옮기고 있다는 사실도 여기에서 드러난다.

코드를 빨리 만들면 검토와 보안에서 처리량이 늘어난다. 신약 후보물질을 빨리 찾으면 생물학적 검증과 임상시험이 더 중요해진다. AI 사용량이 늘면 토큰과 연산 비용이 커진다. GPU가 늘어나면 데이터센터와 전력망이 필요하다.

한쪽의 속도가 빨라질수록 다른 쪽의 준비가 중요해지는 구조다.

국가 차원의 AI 경쟁도 같은 방향으로 움직이고 있다. 한국 정부가 추진하는 AI 고속도로와 GPU 확보, 국가 AI 컴퓨팅센터는 기업과 연구기관이 AI를 사용할 수 있는 기반을 넓힌다. 이재명 정부는 ‘세계에서 AI를 가장 잘 쓰는 나라’를 국정 목표 가운데 하나로 두고 산업과 공공부문의 AI 전환도 확대하고 있다.

인프라는 출발점이다. GPU를 몇 개 확보했는지는 측정하기 쉽지만 확보한 연산자원이 제조업의 생산원가를 얼마나 낮췄는지, 소프트웨어 개발기간을 얼마나 줄였는지, 연구기관에서 얼마나 많은 성과로 이어졌는지는 별도의 문제다.

기업이 AI를 도입한 뒤 겪는 일이 국가 전략에서도 반복될 수 있다. 많이 확보하는 것과 잘 사용하는 것 사이에는 업무 설계와 인력, 비용 관리, 데이터, 책임체계가 놓여 있다.

AI 기술은 앞으로도 빠르게 바뀔 가능성이 크다. 지금 기업들이 사용하는 모델 가운데 상당수는 몇 년 뒤 다른 모델로 대체될 수 있다. 경쟁사가 같은 서비스를 이용하는 것도 어렵지 않다.

기업 내부의 데이터와 업무 흐름, 의사결정 방식, 전문 인력의 경험, 고객과 맺어온 관계는 다르다. 같은 기술을 들여와도 생산성이 3%와 55%로 갈리는 이유도 결국 기업 안에서 찾아야 한다.

AI가 기업을 둘로 나누는 기준은 기술을 가진 곳과 가지지 못한 곳보다 기술을 성과로 바꿀 수 있는 곳과 그렇지 못한 곳에 가까워지고 있다.

더 많은 AI를 쓰는 기업보다 불필요한 업무를 줄이고, 의사결정을 빠르게 만들고, 비용을 통제하며, 사람의 역할을 다시 설계하는 기업이 다른 결과를 만들 가능성이 크다.

AI가 바꾸는 것은 프로그램 하나가 아니다. 기업 안에서 일이 만들어지고 결정되고 검증되고 보상받는 방식이 함께 바뀌고 있다. 기업의 경쟁력도 기술을 얼마나 빨리 들여왔는지가 아니라 AI가 들어온 뒤 조직을 얼마나 깊게 바꿨는지에서 갈릴 가능성이 커지고 있다.