[KtN 최기형기자]엔비디아(NVIDIA)가 8월 4일 NVIDIA Alpamayo 2 Super를 공개하고 상업적 이용이 가능한 모델 가중치와 추론 코드를 내놨다. 340억 개 매개변수를 갖춘 자율주행용 비전-언어-행동(Vision-Language-Action·VLA) 모델이다. 최대 7개 카메라에서 들어오는 주변 영상과 차량의 움직임을 읽고 미래 주행 궤적을 만드는 동시에, 판단 과정에 해당하는 Chain-of-Causation(CoC), 상위 행동 계획인 Meta-Action, 자연어 질의응답(VQA), 데이터 자동 라벨링까지 처리한다.

자율주행 인공지능 개발에서는 주변 환경 인식과 주행 경로 생성, 운전 의도 분석, 데이터 라벨링을 서로 다른 모델이 맡는 방식이 널리 쓰여 왔다. NVIDIA Alpamayo 2 Super는 여러 작업을 하나의 기반 모델에서 처리하는 방향을 택했다. 같은 모델을 주행 정책을 학습시키는 교사 모델, 평가 도구, 데이터 생성기, 별도 작업을 위한 기반 모델로 활용할 수 있도록 설계했다.

모델 내부에는 320억 개 매개변수의 NVIDIA Cosmos 3 Super Reasoner와 20억 개 매개변수의 확산 기반 Action Expert가 들어간다. Reasoner가 다중 카메라 영상과 언어 정보, 차량의 과거 움직임을 해석하면 Action Expert가 차량이 앞으로 이동할 궤적을 생성한다. 강화학습을 이용한 후학습 과정도 적용됐다. NVIDIA 기술문서와 공개 GitHub 저장소 모두 34B 모델을 32B VLM 계열과 2B 확산 전문가 모델의 결합으로 설명하고 있다.