[KtN 최기형기자]젠슨 황(Jensen Huang) 엔비디아 창업자 겸 최고경영자(CEO)가 인공지능(AI) 처리 성능을 향후 10년 동안 다시 100만 배 높이겠다는 구상을 제시했다. 발언은 챗GPT 공개 직후인 2023년 2월 실적 발표 콘퍼런스콜에서 나왔다. 생성형 AI가 연구실을 벗어나 검색과 문서 작성, 프로그램 개발, 이미지 제작 등 일상적인 작업으로 확산하기 시작한 시점이었다.

“지난 10년간 대규모언어모델(LLM) 처리 속도를 100만 배 높였다”는 황 CEO의 설명은 GPU 한 개의 연산 성능만 비교한 수치가 아니다. 반도체와 메모리, 서버, 고속 연결망, 소프트웨어 프레임워크, 분산 컴퓨팅 알고리즘, AI 모델 설계를 함께 개선한 결과를 하나로 묶은 주장이다. 향후 10년에도 같은 방식으로 AI 시스템 전체의 처리량을 높이겠다는 구상이 뒤따랐다.

무어의 법칙에 의존해 트랜지스터 집적도를 높이던 반도체 산업의 성장 방식과도 거리가 있다. 미세공정 전환만으로는 거대한 AI 모델이 요구하는 연산량을 감당하기 어려워졌다. 엔비디아는 개별 칩보다 데이터센터 전체를 하나의 컴퓨터처럼 작동시키는 설계에 집중하고 있다. GPU 기업으로 출발한 엔비디아가 AI 인프라의 설계와 운영 체계를 공급하는 기업으로 사업 범위를 넓힌 배경이다.

게임용 그래픽카드가 AI 연산장치로

엔비디아는 1999년 GeForce 256을 출시하며 GPU라는 명칭을 전면에 내세웠다. 당시 GPU의 주된 역할은 게임과 영상에서 반복되는 그래픽 연산을 처리하는 것이었다. 중앙처리장치(CPU)가 운영체제와 응용 프로그램의 다양한 명령을 순서대로 처리한다면 GPU는 구조가 비슷한 연산을 대량으로 동시에 수행하는 데 강점을 지녔다.

그래픽 연산과 딥러닝은 사용 목적은 달라도 계산 구조에서는 맞닿아 있었다. 3차원 그래픽은 수많은 점과 면, 색상, 빛의 변화를 반복해서 계산한다. 신경망 학습도 방대한 데이터를 행렬과 벡터로 바꾼 뒤 비슷한 계산을 되풀이한다. 수천 개의 비교적 단순한 연산 장치를 병렬로 가동하는 GPU 구조가 딥러닝에 적합했던 이유다.

CPU와 GPU의 차이를 단순히 속도로 구분할 수는 없다. 복잡한 조건 판단과 순차적인 명령 처리에는 CPU가 유리하다. 동일하거나 비슷한 계산을 대규모로 반복할 때는 GPU의 병렬처리 능력이 앞선다. AI 시스템은 CPU가 전체 작업을 통제하고 GPU가 대규모 행렬 연산을 맡는 방식으로 발전했다.

2006년 공개된 병렬 컴퓨팅 플랫폼 CUDA는 엔비디아의 방향을 바꾼 기술이었다. 개발자는 CUDA를 통해 GPU를 그래픽 처리 이외의 계산에 활용할 수 있었다. 물리 시뮬레이션과 기상 예측, 의료 영상, 금융 분석에 이어 딥러닝 연구에서도 GPU 사용이 늘었다.

CUDA는 단순한 개발 도구에 머물지 않았다. 연구자와 기업이 CUDA에 맞춰 프로그램을 작성하고 관련 라이브러리를 사용하면서 엔비디아 GPU를 중심으로 한 개발 생태계가 형성됐다. 경쟁사가 성능이 비슷한 칩을 내놓더라도 기존 프로그램과 연구 환경을 옮기는 데 시간과 비용이 들어가는 구조였다. 엔비디아의 경쟁력은 반도체 설계와 함께 오랜 기간 축적된 소프트웨어 환경에서 나왔다.

알렉스넷 이후 달라진 AI 연구의 속도

2012년 이미지넷(ImageNet) 대회에서 알렉스넷(AlexNet)이 기존 이미지 인식 방식보다 낮은 오류율을 기록하면서 GPU와 딥러닝의 결합이 주목받았다. 대규모 데이터를 GPU로 학습시킨 심층신경망이 컴퓨터 비전 분야에서 성능 격차를 벌렸다. 이후 음성 인식과 기계 번역, 추천 시스템, 자율주행 연구로 GPU 활용 범위가 넓어졌다.

AI 모델이 커질수록 계산량도 빠르게 증가했다. 매개변수 수가 늘고 학습 데이터가 방대해지면서 GPU 한두 개로 처리하기 어려운 수준에 도달했다. 여러 GPU를 연결해 하나의 모델을 학습시키는 분산 컴퓨팅이 필요해졌고, 칩 사이에서 데이터를 전달하는 속도가 전체 성능을 제한하기 시작했다.

GPU 자체가 아무리 빨라도 메모리에서 데이터를 가져오는 시간이 길거나 다른 GPU와 결과를 주고받는 과정이 느리면 연산 장치는 대기 상태에 놓인다. AI 시대의 성능 경쟁이 단순한 연산 횟수에서 메모리 대역폭과 연결 기술, 서버 구성, 냉각과 전력 효율로 확대된 배경이다.

엔비디아는 2016년 딥러닝 전용 통합 시스템 DGX-1을 공개했다. 초기 DGX-1에는 Tesla P100 GPU 8개와 GPU 사이의 데이터 전송 속도를 높이는 NVLink가 적용됐다. CUDA와 딥러닝 라이브러리, 주요 학습 프레임워크도 함께 제공됐다.

기업과 연구기관은 서버 부품을 직접 조립하고 소프트웨어 환경을 일일이 구성하는 대신 통합된 시스템에서 AI 모델 개발을 시작할 수 있었다. GPU 제조사가 완성형 AI 시스템 공급자로 이동한 전환점이었다. 엔비디아는 이후 GPU와 고대역폭메모리(HBM), 고속 네트워크, 서버 랙, 냉각 구조, 개발 소프트웨어를 하나의 플랫폼으로 결합하는 방향을 강화했다.

‘100만 배’는 칩 한 개의 속도가 아니다

황 CEO는 무어의 법칙이 가장 잘 작동했던 시기에도 10년간 약 100배의 성능 향상을 제공했을 것이라고 설명했다. 엔비디아가 제시한 100만 배는 같은 기간 무어의 법칙이 제공했을 성능 향상의 1만 배에 이른다.

10년 동안 100만 배의 성능 개선을 이루려면 연평균 약 4배의 향상이 누적돼야 한다. 반도체 미세공정만으로 달성하기 어려운 규모다. 엔비디아가 새로운 프로세서뿐 아니라 연결 기술과 시스템, 운영체제, 분산 컴퓨팅 방식, AI 알고리즘과 모델을 함께 거론한 이유가 여기에 있다.

연산 정밀도를 조정하는 기술도 가속 수단으로 사용된다. AI 학습과 추론 과정에서 모든 계산을 높은 정밀도로 처리할 필요는 없다. 데이터 표현에 사용하는 비트 수를 줄이면 같은 시간과 전력으로 더 많은 연산을 수행할 수 있다. 모델의 정확도를 유지할 수 있는 범위에서 낮은 정밀도를 적용하고, 전용 연산 장치와 최적화된 소프트웨어를 결합하면 처리량이 크게 늘어난다.

모델 구조 자체를 효율화하는 방식도 있다. 모든 매개변수를 매번 작동시키는 대신 입력에 필요한 일부만 사용하는 구조, 이미 계산한 내용을 재사용하는 캐시 기술, 여러 요청을 묶어 처리하는 배치 방식은 추론 비용을 낮춘다. 엔비디아가 말한 AI 가속에는 반도체의 물리적 성능뿐 아니라 같은 모델을 더 적은 자원으로 실행하는 알고리즘 개선까지 포함된다.

100만 배라는 수치를 모든 AI 작업에 동일하게 적용할 수는 없다. 모델 학습 시간과 초당 생성 토큰 수, 소비 전력당 처리량, 비용당 성능은 서로 다른 지표다. 특정 모델과 시스템을 기준으로 얻은 개선 폭이 다른 작업에서 그대로 재현된다는 보장도 없다. 황 CEO의 발언은 공학적으로 확정된 성능표보다 엔비디아가 추진하는 전면적인 시스템 가속 전략을 압축한 장기 목표에 가깝다.

챗GPT가 바꾼 컴퓨터 사용 방식

황 CEO는 챗GPT를 인간의 언어가 컴퓨터 프로그래밍 언어로 기능할 수 있다는 가능성을 드러낸 기술로 평가했다. 자연어로 작업을 설명하면 AI가 지시를 해석해 글과 이미지, 프로그램 코드를 만들어내는 방식이 컴퓨터 사용의 진입 장벽을 낮췄다는 판단이었다.

기존 소프트웨어는 사용자가 메뉴와 명령어, 프로그래밍 언어를 배워야 했다. 생성형 AI에서는 사용자가 원하는 결과를 일상 언어로 설명하고 모델이 소프트웨어가 처리할 명령으로 변환한다. 프로그래밍 경험이 없는 이용자도 문서 정리와 데이터 분석, 코드 초안 작성, 이미지 제작에 접근할 수 있게 됐다.

황 CEO는 챗GPT가 인간의 언어뿐 아니라 파이썬(Python)과 COBOL, 3차원 제작 프로그램 블렌더(Blender)에서 사용할 코드까지 생성할 수 있다는 점을 들었다. 제공된 영문 원문의 ‘Cobalt’는 프로그래밍 언어 COBOL을 잘못 표기한 것으로 판단된다. 하나의 프로그램이 다른 프로그램을 작동시키는 코드를 작성하면서 자연어와 소프트웨어 명령 사이의 경계가 낮아졌다는 설명이다.

컴퓨터 사용 방식이 바뀌면서 연산 수요의 성격도 달라졌다. 과거 AI 투자는 모델을 개발하고 한 차례 학습시키는 데 집중됐다. 생성형 AI 서비스는 이용자가 질문을 입력할 때마다 모델을 실행해야 한다. 이용자 수와 대화 길이, 생성하는 글·이미지·영상의 양이 늘면 추론에 필요한 연산도 반복적으로 발생한다.

학습은 일정 기간 집중적으로 연산 자원을 사용하는 작업이지만, 추론은 서비스가 운영되는 동안 계속된다. 생성형 AI가 검색과 업무용 소프트웨어, 고객 상담, 의료와 제조 현장으로 확산할수록 데이터센터는 지속적으로 모델을 실행해야 한다. 엔비디아에는 GPU 판매 이후에도 네트워크와 서버, 추론 소프트웨어, 클라우드 서비스 수요가 이어지는 시장이 열린 셈이다.

데이터센터를 ‘AI 공장’으로 바꾼다는 구상

황 CEO는 미래 기업이 물리적 상품뿐 아니라 지능을 생산하게 될 것이라고 전망했다. 데이터를 투입해 모델을 학습시키고, 학습된 모델에서 답변과 예측, 설계, 프로그램 코드를 생산하는 데이터센터를 ‘AI 공장’으로 불렀다.

기존 데이터센터는 기업의 정보 저장과 업무 처리, 인터넷 서비스 운영을 담당했다. AI 데이터센터는 대규모 연산을 통해 학습된 모델과 추론 결과를 계속 만들어낸다. 같은 데이터가 어떤 모델과 컴퓨팅 시스템을 거치느냐에 따라 검색 결과와 제품 설계, 고객 응대, 공정 제어 결과가 달라진다.

엔비디아는 AI 공장에 필요한 구성요소를 넓게 확보하고 있다. GPU는 연산을 담당하고, 고대역폭메모리는 대량의 데이터를 빠르게 공급한다. NVLink와 데이터센터 네트워크는 여러 칩과 서버를 하나로 연결한다. CUDA와 AI 라이브러리는 하드웨어 성능을 실제 프로그램에서 사용할 수 있도록 지원한다. DGX와 서버 랙 시스템은 부품을 통합해 기업이 곧바로 모델을 학습하고 실행할 수 있는 환경을 제공한다.

사업 구조도 달라진다. 그래픽카드 판매는 제품 교체 주기와 게임 시장의 수요 변화에 영향을 받는다. AI 데이터센터는 초기 구축 이후에도 GPU 증설과 네트워크 확장, 소프트웨어 업데이트, 모델 운영이 이어진다. 엔비디아가 데이터센터 전체를 공급할수록 한 차례의 칩 판매에서 장기간의 플랫폼 사업으로 매출 기반을 넓힐 수 있다.

성능 경쟁보다 커진 네트워크와 메모리의 비중

AI 모델의 규모가 커지면서 연산 성능만 높여서는 처리 속도를 충분히 개선하기 어려워졌다. GPU가 계산할 데이터를 제때 받지 못하면 연산 장치는 쉬게 된다. 고대역폭메모리의 공급 능력과 GPU 간 연결 속도가 시스템 효율을 좌우한다.

대규모 모델을 여러 GPU에 나눠 학습할 때는 각 GPU가 계산한 결과를 끊임없이 교환해야 한다. 서버 한 대를 넘어 여러 랙과 데이터센터를 연결하면 통신 지연과 데이터 이동에 필요한 전력이 증가한다. 네트워크 성능이 낮으면 GPU 수를 늘려도 처리량이 같은 비율로 증가하지 않는다.

엔비디아가 GPU와 함께 NVLink, InfiniBand와 이더넷 기반 네트워크, 서버 랙 설계를 강조하는 이유도 시스템의 대기 시간을 줄이기 위해서다. 개별 GPU 성능 경쟁에서 데이터센터 전체의 처리량 경쟁으로 시장의 기준이 이동하고 있다.

메모리와 첨단 패키징도 AI 반도체 공급량을 좌우한다. GPU 연산 장치만 생산해도 HBM과 패키징 공정이 부족하면 완제품 출하가 지연될 수 있다. 엔비디아의 AI 플랫폼은 자체 기술뿐 아니라 파운드리와 메모리 제조사, 패키징 기업, 서버 업체, 전력·냉각 설비 공급망에 의존한다.

성능 향상이 전력 감소를 보장하지 않는 구조

AI 시스템의 처리 효율이 높아지면 같은 작업에 필요한 전력과 비용은 낮아질 수 있다. 이용 가능한 연산량이 늘고 비용이 내려가면 기업은 더 큰 모델을 개발하고 더 많은 이용자에게 서비스를 제공한다. 효율 향상분보다 사용량 증가가 크면 전체 전력 소비는 오히려 늘어난다.

이미지 한 장이나 문장 하나를 생성하는 데 필요한 전력이 줄더라도 생성 횟수가 수백 배 증가하면 데이터센터의 총전력 수요는 커진다. 텍스트 중심이던 생성형 AI가 고해상도 이미지와 음성, 영상, 3차원 모델로 확대될수록 요청 한 건에 필요한 계산량도 증가한다.

데이터센터를 새로 건설하려면 반도체 공급만으로는 부족하다. 발전설비와 송전망, 변전소, 냉각용수, 부지, 건설 인허가가 필요하다. AI 반도체의 성능 개선 속도가 전력 인프라 확충 속도를 앞서면 GPU를 확보하고도 가동하지 못하는 병목이 발생할 수 있다.

황 CEO가 전망한 세계 각국의 AI 공장 확대도 국가별 전력과 통신망, 투자 여력에 따라 속도가 달라질 가능성이 크다. 거대 클라우드 기업과 자본력이 높은 국가가 최신 시스템을 먼저 확보하고, 중소기업과 전력 여건이 취약한 지역은 외부 클라우드에 의존하는 격차가 커질 수 있다.

AI의 민주화와 컴퓨팅 자원의 집중

자연어로 프로그램을 작성하고 전문 작업을 수행할 수 있게 되면 소프트웨어 이용층은 넓어진다. 반면 생성형 AI를 구동하는 기반 시설은 막대한 자본이 필요한 방향으로 이동하고 있다. 이용자는 손쉽게 AI를 사용하지만 모델을 학습하고 운영하는 능력은 소수의 반도체 기업과 클라우드 사업자에 집중될 수 있다.

최신 GPU를 수천 개 또는 수만 개 연결한 시스템은 대학과 중소기업이 독자적으로 구축하기 어렵다. 자체 인프라를 확보하지 못한 조직은 클라우드 사용료와 모델 이용료를 지급해야 한다. 서비스 가격과 데이터 관리 방식, 모델 접근 조건도 인프라를 보유한 기업의 정책에 영향을 받는다.

CUDA를 중심으로 축적된 소프트웨어 생태계는 엔비디아의 시장 지위를 강화한다. 개발자는 수년간 작성한 코드와 최적화 도구, 학습 환경을 다른 하드웨어로 옮길 때 추가 비용을 부담한다. 반도체 성능뿐 아니라 개발자 생태계와 소프트웨어 호환성이 구매 결정에 작용한다.

기업이 엔비디아 플랫폼을 도입할수록 엔비디아는 칩 공급사를 넘어 AI 시스템의 기술 규격을 정하는 위치에 가까워진다. 데이터센터 구성과 프로그래밍 방식, 모델 실행 환경이 하나의 플랫폼에 묶이면 고객의 전환 비용도 높아진다. AI 산업의 빠른 확장이 엔비디아의 성장 기반인 동시에 기술 의존도와 시장 집중을 둘러싼 부담을 키우는 구조다.

2023년의 선언이 겨냥한 엔비디아의 다음 위치

황 CEO가 100만 배 추가 가속을 언급한 2023년 초 엔비디아는 게임용 그래픽카드 수요 둔화와 재고 조정을 겪고 있었다. 생성형 AI의 상업적 규모도 지금처럼 분명하지 않았다. 챗GPT 공개 후 기업 문의와 AI 인프라 수요가 급증하자 엔비디아는 GPU 제조사가 아니라 생성형 AI 시대의 기반 시설 공급자라는 위치를 앞세웠다.

100만 배라는 표현은 하나의 반도체 성능 목표보다 사업 영역의 확대를 설명한다. 프로세서와 메모리, 네트워크, 서버, 운영 소프트웨어, AI 모델을 함께 설계해 데이터센터의 생산량을 높이고, 각 구성요소에서 엔비디아 플랫폼의 비중을 확대하겠다는 전략이다.

성과를 판단할 기준도 GPU의 초당 연산 횟수에 머물지 않는다. 같은 전력과 비용으로 얼마나 많은 토큰과 이미지, 영상을 생성할 수 있는지, 여러 GPU를 연결했을 때 성능이 얼마나 안정적으로 늘어나는지, 기업이 AI를 도입해 실제 수익과 생산성 향상을 얻는지가 함께 작용한다.

향후 10년 동안 연산 효율이 크게 높아져도 AI 산업의 확장 속도가 자동으로 보장되지는 않는다. 전력 공급과 첨단 메모리 생산, 패키징 능력, 데이터센터 건설, 국가별 규제, 기업의 수익모델이 기술 발전과 맞물려야 한다. 엔비디아가 제시한 ‘100만 배’는 AI 미래에 관한 단순한 속도 전망이 아니라 지능 생산에 필요한 반도체와 시스템, 소프트웨어의 주도권을 하나의 플랫폼 안에 묶겠다는 산업 전략으로 읽힌다.