NVIDIA Alpamayo 2 Super 공개…34B 자율주행 AI, ‘LingoQA 79.2’의 조건

[KtN 최기형기자]엔비디아(NVIDIA)가 8월 4일 NVIDIA Alpamayo 2 Super를 공개하고 상업적 이용이 가능한 모델 가중치와 추론 코드를 내놨다. 340억 개 매개변수를 갖춘 자율주행용 비전-언어-행동(Vision-Language-Action·VLA) 모델이다. 최대 7개 카메라에서 들어오는 주변 영상과 차량의 움직임을 읽고 미래 주행 궤적을 만드는 동시에, 판단 과정에 해당하는 Chain-of-Causation(CoC), 상위 행동 계획인 Meta-Action, 자연어 질의응답(VQA), 데이터 자동 라벨링까지 처리한다.

자율주행 인공지능 개발에서는 주변 환경 인식과 주행 경로 생성, 운전 의도 분석, 데이터 라벨링을 서로 다른 모델이 맡는 방식이 널리 쓰여 왔다. NVIDIA Alpamayo 2 Super는 여러 작업을 하나의 기반 모델에서 처리하는 방향을 택했다. 같은 모델을 주행 정책을 학습시키는 교사 모델, 평가 도구, 데이터 생성기, 별도 작업을 위한 기반 모델로 활용할 수 있도록 설계했다.

모델 내부에는 320억 개 매개변수의 NVIDIA Cosmos 3 Super Reasoner와 20억 개 매개변수의 확산 기반 Action Expert가 들어간다. Reasoner가 다중 카메라 영상과 언어 정보, 차량의 과거 움직임을 해석하면 Action Expert가 차량이 앞으로 이동할 궤적을 생성한다. 강화학습을 이용한 후학습 과정도 적용됐다. NVIDIA 기술문서와 공개 GitHub 저장소 모두 34B 모델을 32B VLM 계열과 2B 확산 전문가 모델의 결합으로 설명하고 있다.

최대 7개 카메라를 지원하지만 모든 공개 실행 환경이 7개 카메라를 동시에 사용하는 것은 아니다. GitHub에 공개된 기본 궤적 추론 환경은 카메라 6대에서 각각 4개 프레임을 사용한다. VQA와 궤적·Meta-Action·자동 라벨링도 작업에 따라 서로 다른 6개 카메라 조합을 불러온다. 원본 데이터를 읽는 코드에는 7개 카메라 구성이 기본값으로 들어가 있다. ‘최대 7개 카메라를 이용한 360도 인지’와 실제 공개 예제의 입력 조건을 나눠 볼 필요가 있는 이유다.

NVIDIA Alpamayo 2 Super가 내놓는 결과 가운데 차량의 움직임을 직접 결정하는 값은 미래 궤적이다. CoC는 주변 차량과 보행자, 도로 상황 가운데 어떤 요소가 주행 판단에 영향을 줬는지를 자연어로 생성한다. Meta-Action은 양보와 정지, 가속, 차선 변경처럼 복잡한 궤적을 짧은 행동 단위로 정리한다. VQA에서는 개발자가 주행 환경을 자연어로 질문할 수 있고, 답변에 등장한 차량이나 물체의 위치를 카메라 영상 위 2차원 영역으로 함께 표시할 수도 있다.

CoC를 사람의 사고 과정을 그대로 들여다보는 장치로 받아들일 근거는 아직 부족하다. 공개된 기능은 모델이 주행 상황에 대해 생성한 자연어 설명과 미래 궤적을 함께 비교할 수 있도록 하는 데 있다. 오류가 발생했을 때 모델이 어떤 요소를 언급했는지 살피는 데 사용할 수 있지만, 생성된 문장이 신경망 내부에서 실제로 일어난 모든 판단 과정을 그대로 재현한다는 검증 결과는 이번 공개 자료에 제시되지 않았다. NVIDIA 역시 기술문서에서 CoC를 모델의 판단을 살펴볼 수 있는 ‘insight’와 ‘introspection’ 수단으로 설명한다.

주행 궤적 평가에서는 Physical AI AV Dataset의 난도가 높은 표본 1434개가 사용됐다. NVIDIA Alpamayo 2 Super의 6.4초 구간 minADE_6는 0.911m였다. 이전 모델인 NVIDIA Alpamayo 1.5 Nano는 같은 표에서 0.916m를 기록했다. 낮을수록 좋은 지표에서 신형 모델이 앞섰지만 차이는 0.005m다. 공개된 표에는 두 값의 차이가 통계적으로 어느 정도 의미를 갖는지 보여주는 별도의 신뢰구간이나 유의성 분석은 포함되지 않았다.

자율주행 추론 점수는 0.433이었다. NVIDIA Alpamayo 1.5 Nano의 0.414보다 높았다. 같은 비교표에 제시된 GPT-5.5의 0.502에는 미치지 못했다. 모델 규모가 34B로 커지고 여러 기능이 추가됐지만 공개된 추론 평가 전체에서 가장 높은 결과를 냈다고 단정할 수 없는 수치다.

LingoQA에서는 79.2가 나왔다. NVIDIA는 37개 모델을 자체 시험한 결과 NVIDIA Alpamayo 2 Super가 가장 높은 점수를 기록했다고 발표했다. 같은 시험에서 Qwen3-VL 32B는 72.2, Gemini 2.5 Pro는 64.1, Qwen2.5-VL 72B는 62.2, GPT-4o는 56.0으로 제시됐다. NVIDIA 공식 블로그도 ‘NVIDIA testing using the Lingo-Judge metric’이라는 조건을 명시하고 있다. ‘LingoQA 37개 모델 중 1위’라고 쓸 경우 평가 주체를 NVIDIA로 함께 적어야 정확하다.

LingoQA는 웨이브(Wayve) 연구진이 개발해 2024년 유럽컴퓨터비전학회(ECCV)에 발표한 자율주행 영상 질의응답 벤치마크다. 2만8000개의 짧은 주행 영상과 41만9000개의 주석을 기반으로 한다. 연구진은 답변의 사실성을 판정하는 Lingo-Judge를 함께 개발했고, 인간 평가와 0.95의 스피어먼 상관계수를 기록했다고 논문에 밝혔다. 원 논문에서 인간 답변은 96.6, GPT-4V는 59.6이었다.

2024년 9월 최종 수정된 LingoQA 원 논문에는 2026년 공개된 NVIDIA Alpamayo 2 Super의 79.2나 NVIDIA가 제시한 37개 모델 순위가 들어갈 수 없다. 현재 공개된 LingoQA 공식 평가 코드는 예측 답변을 Lingo-Judge로 판정해 전체 점수를 계산할 수 있도록 돼 있다. NVIDIA가 같은 지표를 이용해 신형 모델과 경쟁 모델을 별도로 평가한 결과가 79.2다. 벤치마크 자체는 외부에서 개발됐지만 해당 순위표의 작성 주체까지 외부 기관인 것은 아니다.

실제 운전과 가까운 조건을 보완하기 위해 폐루프(closed-loop) 시뮬레이션도 사용됐다. 기록된 주행 영상에서 정답 궤적과 예측값을 비교하는 오픈루프(open-loop)는 자율주행차가 움직인 뒤 주변 차량의 반응이 달라지는 상황을 충분히 반영하기 어렵다. 폐루프에서는 모델이 내놓은 행동이 다음 순간의 환경에 반영되고, 바뀐 환경을 다시 모델에 입력한다. 차선 변경이나 감속 이후 주변 교통과의 상호작용에서 생기는 충돌과 도로 이탈 등을 연속적으로 살필 수 있다.

NVIDIA AlpaSim으로 재구성한 913개 주행 환경에서는 1.50±0.13을 기록했다. NVIDIA Alpamayo 1.5 Nano의 비교 점수는 1.37±0.10이었다. 오픈루프의 궤적 오차보다 신형 모델과 이전 모델 사이의 차이가 크게 나타난 평가다. 다만 AlpaSim은 엔비디아가 개발한 자율주행 시뮬레이션 환경이다. 913개 재구성 환경에서 얻은 1.50±0.13을 실제 공공도로 주행거리나 충돌률, 안전요원 개입률과 같은 실차 안전성 지표로 바꿔 읽을 수는 없다.

Meta-Action 평가에는 NVIDIA 내부 데이터 9만4000개 클립이 사용됐다. 횡방향 IoU는 74.59, 종방향은 61.91, 차로 단위는 73.55였다. 해당 수치는 공개 벤치마크의 독립 평가 결과가 아니라 NVIDIA가 보유한 정답 데이터와 모델 출력을 비교해 산출한 값이다. 외부 연구진이 같은 조건에서 재현한 결과는 이번 발표에 포함되지 않았다.

VQA와 객체 위치 지정도 내부 평가다. 8000개 질문·답변에서 NVIDIA Alpamayo 2 Super의 답변 유사도는 0.652, Qwen3-VL 32B는 0.450이었다. 답변에서 지칭한 물체를 카메라 영상에 표시하는 2차원 위치 지정 IoU는 각각 0.71과 0.17로 제시됐다. 비교 모델보다 높은 수치가 나온 것은 확인되지만 데이터 구성과 평가 환경을 NVIDIA가 설정한 자체 시험이라는 조건이 붙는다.

자동 라벨링에서도 8000개 내부 클립을 전문가 주석과 비교했다. NVIDIA Alpamayo 2 Super가 생성한 CoC 라벨의 유사도는 0.652, Qwen3-VL 32B는 0.450으로 제시됐다. 판정에는 NVIDIA 내부 judge model이 사용됐다. 자동 생성 라벨과 전문가 주석 사이의 유사성을 측정한 값이지 사람이 검토하지 않아도 되는 완전 자동화 수준을 입증한 수치는 아니다.

주석 작업을 ‘수개월에서 수일로 줄일 수 있다’는 표현도 구분해서 볼 대목이다. NVIDIA는 다중 카메라 영상의 주요 객체와 차량 움직임, CoC를 자동으로 작성함으로써 라벨링 기간을 크게 줄일 수 있다고 설명했다. 몇 명의 작업자가 어느 규모의 데이터를 처리했는지, 기존 수작업과 자동화 방식의 시간과 비용을 동일한 조건에서 비교한 실험 결과는 함께 공개하지 않았다. 현 단계에서 확인되는 사실은 자동 라벨링 기능의 공개이며 ‘수개월에서 수일’은 NVIDIA가 제시한 기대 효과다.

연산 환경에서는 34B 모델의 무게가 그대로 드러난다. 공개 GitHub는 리눅스와 NVIDIA GPU, CUDA 12.x, 34B 모델을 올릴 수 있는 충분한 비디오 메모리를 기본 조건으로 제시한다. 일반 추론과 별도로 공개한 고급 navigation classifier-free guidance 데모는 80GB H100 GPU 두 장에서 검증됐다. 6개 카메라에서 각각 4개 프레임을 입력했을 때 VLM을 담당한 GPU는 약 67GiB, Action Expert 쪽 GPU는 약 71GiB까지 메모리를 사용했다.

엔비디아가 NVIDIA Alpamayo 2 Super 자체보다 ‘교사 모델’ 활용을 함께 강조하는 배경도 연산량과 연결된다. 대형 모델을 클라우드 개발 환경에서 사용해 추론 데이터와 학습용 데이터를 만들고, 필요한 능력을 작은 모델로 증류한 뒤 차량에서 실시간으로 실행하는 방식이다. NVIDIA는 증류한 소형 모델을 NVIDIA DRIVE AGX Thor에서 운용할 수 있다고 설명하고 있다. NVIDIA Alpamayo 2 Super 34B 전체가 현재 양산 차량에서 그대로 실시간 운전하는 모델이라는 뜻은 아니다.

상업적 이용 범위는 8월 공개에서 달라진 부분이다. 모델 가중치에는 OpenMDW-1.1이 적용되고 공개 GitHub의 소스코드는 Apache 2.0을 따른다. 리눅스재단은 5월 28일 OpenMDW-1.1을 발표했다. 라이선스는 모델 사용과 수정, 재배포에 폭넓은 권리를 주며 특정 산업이나 지역, 사용 목적에 별도의 제한을 두지 않는다. 모델이 생성한 출력물에도 OpenMDW-1.1의 표시 의무를 적용하지 않는다.

재배포에는 조건이 남는다. OpenMDW-1.1로 제공된 모델 자료를 다시 배포할 경우 라이선스 사본과 해당 저작권·출처 고지를 유지해야 한다. 제3자의 저작권이나 다른 권리가 관련돼 있다면 필요한 권리를 확보할 책임도 이용자에게 있다. NVIDIA가 밝힌 ‘상업적 이용 가능’은 추가 사용허가 없이 파인튜닝과 파생 모델, 상업적 배포가 가능하다는 의미이지 법적 의무가 모두 사라진다는 뜻은 아니다.

모델과 데이터 접근에도 절차가 있다. 공개 GitHub는 Hugging Face의 NVIDIA Alpamayo 2 Super와 Physical AI AV Dataset을 gated 자원으로 명시하고 있다. Hugging Face 계정으로 인증하고 데이터셋 접근 권한을 받아야 공개 예제를 실행할 수 있다. 라이선스가 상업적 이용을 허용한다는 사실과 모델·데이터를 아무 절차 없이 익명으로 내려받을 수 있다는 의미는 구분된다.

8월 4일 공개된 성능표에서 확인되는 변화는 자율주행 성능 하나로 압축되지 않는다. 1434개 표본의 궤적 오차는 이전 모델보다 0.005m 줄었고, NVIDIA가 실시한 LingoQA 시험에서는 79.2를 기록했다. 913개 재구성 환경의 AlpaSim 점수는 1.50±0.13이었다. Meta-Action과 VQA, 자동 라벨링에서는 자체 내부 데이터 평가 결과가 제시됐다. 각 숫자는 서로 다른 능력을 측정하고 평가 주체와 데이터도 다르다. 하나의 순위표처럼 묶어 NVIDIA Alpamayo 2 Super의 실제 도로 안전성을 설명하기에는 평가 조건이 서로 다르다.

외부 개발자가 직접 다룰 수 있는 34B 모델 가중치와 소스코드가 공개되면서 독립 검증의 출발 조건은 마련됐다. 공개 이후에는 다른 데이터셋에서 궤적과 추론 성능이 유지되는지, NVIDIA가 아닌 시뮬레이션 환경에서도 폐루프 결과가 재현되는지, 증류한 소형 모델이 실제 차량에서 어느 정도의 속도와 안정성을 확보하는지가 추가 평가 대상으로 남는다. 현재 공개된 NVIDIA Alpamayo 2 Super는 여러 개발 작업을 하나의 기반 모델로 묶은 자율주행 연구·개발 모델이다. 실제 도로에서 축적한 대규모 주행거리와 사고율로 안전성이 검증된 완성형 자율주행 시스템으로 볼 단계는 아니다.