[AI 과학③] 1만 AI 에이전트가 연구실로…한국도 ‘AI Co-Scientist’ 가동

[KtN 전성진기자]수학자 한 명이 책상 앞에서 수개월 동안 증명을 다듬던 연구 방식과 전혀 다른 규모의 계산이 나비에–스토크스(Navier–Stokes) 난제에 투입됐다. OpenAI는 약 1만개의 인공지능(AI) 에이전트를 동시에 가동해 88시간 동안 해법을 탐색했다. 에이전트들이 주고받은 메시지는 약 270만건, 출력한 토큰은 약 1300억개였다. 해법이 나온 뒤 GPT-6 Astra를 이용한 Lean 형식화와 검증에 다시 17시간이 소요됐다.

한 번의 질문에 AI가 답을 내놓는 방식과도 달랐다. 수천개의 에이전트가 여러 그룹으로 나뉘어 서로 다른 수학적 접근법을 탐색했고, 인터넷 자료를 읽고 코드를 실행했다. 일정 시간이 지나면 Codex가 각 그룹에서 나온 결과 가운데 유용한 내용을 정리해 다른 그룹에 전달했다. 연구 도중 추가 훈련된 내부 모델이 나오자 가동 중이던 에이전트도 새 모델로 교체됐다.

OpenAI는 먼저 약 100개의 에이전트를 점성이 없는 유체를 다루는 오일러(Euler) 방정식 문제에 투입했다. 약 50시간 뒤 관련 결과가 나오자 나비에–스토크스 문제에 계산 자원을 집중하고 오일러 연구 결과를 후속 탐색에 사용했다. 여러 난제를 동시에 탐색하다 성과가 나온 분야에 자원을 이동시키는 방식까지 AI 연구 시스템 안에 들어갔다.

9월 5일 해법에 도달할 때까지 나비에–스토크스 문제에만 약 1만개의 동시 에이전트가 작동했다. 여러 문제에 투입된 전체 에이전트가 교환한 메시지는 490만건, 생성한 출력 토큰은 약 3000억개였다. 공개된 숫자만 놓고 봐도 AI를 연구에 활용하는 방식이 개인 연구자의 프로그램 사용을 넘어 대규모 연산 시스템을 구축하는 형태로 확장되고 있다.

OpenAI가 제시한 증명은 3차원 유체에서 매끄러운 외력이 작용할 때 유한한 시간 안에 속도가 발산하는 특이점이 발생할 수 있다는 내용이다. 클레이수학연구소(Clay Mathematics Institute·CMI)는 지난 11일 발표 이후 “나비에–스토크스 문제가 해결된 것으로 보이는 발표”를 수학계가 분석하고 있다고 밝혔다. CMI의 공식 인정 절차는 계속 진행 중이다.

증명의 최종 단계에는 Lean이 들어갔다. Lean은 사람이 작성한 수학적 논리를 정의와 공리, 추론 규칙에 따라 기계적으로 확인하는 정리증명기(proof assistant)다. OpenAI는 자연어와 수식으로 작성한 논문뿐 아니라 Lean 형식으로 옮긴 증명도 함께 공개했다. AI가 결과를 생성하고 다른 AI가 형식 증명으로 변환한 뒤 검증 프로그램이 논리적 연결을 검사하는 과정이 하나의 연구 흐름 안에 배치됐다.

과학 연구에서 필요한 계산 자원도 달라지고 있다. 기존의 고성능컴퓨팅(HPC)은 기후와 천체, 입자, 신소재처럼 막대한 수치 계산이 필요한 분야를 중심으로 사용됐다. 생성형 AI가 과학 연구에 들어오면서 GPU는 모델을 학습시키는 데 더해 수많은 에이전트가 가설과 해법을 병렬로 탐색하는 자원으로 쓰이고 있다.

나비에–스토크스 연구에서는 하나의 난제에 1만개 안팎의 에이전트를 동시에 투입했다. 연구자가 상용 AI 서비스 하나를 구독해 사용하는 것과 연구기관이 자체 모델과 수천개의 에이전트, 대규모 GPU를 이용해 연구 문제를 탐색하는 것 사이에 연구 환경의 격차가 생길 수 있는 구조다.

AI 과학 연구에서는 모델 성능만으로 연구 환경이 만들어지지 않는다. 대규모 연산을 처리할 GPU, 과학 논문과 데이터, 코드를 실행할 도구, 여러 에이전트의 결과를 공유하는 시스템, 최종 결과를 확인하는 검증 프로그램이 함께 움직인다. 수학에서는 Lean과 같은 정리증명기가 사용되고, 생명과학과 화학에서는 실험 데이터와 실제 실험 과정이 검증 단계에 들어간다.

한국도 올해 AI를 과학 연구에 직접 사용하는 정책을 본격적으로 가동했다. 이재명 정부의 123대 국정과제에서 ‘AI 3대 강국 도약’과 ‘기초가 탄탄한 과학기술’은 혁신경제 전략에 함께 들어갔다. 과학기술 분야에서는 과학기술 5대강국 실현을 위한 시스템 혁신, 기초연구 생태계 조성, NEXT 전략기술 육성이 추진 과제로 배치됐다.

과학기술정보통신부의 2026년 업무계획에는 연구자와 함께 연구하는 ‘AI Co-Scientist’와 과학기술 분야 AI 파운데이션 모델 개발이 포함됐다. 정부는 생명과학과 소재 등 6개 분야에서 과학적 발견을 지원하는 AI 기반모델을 개발하고 연구 전 과정에서 연구자와 협업하는 AI 시스템을 추진하고 있다.

연구 현장에 적용하는 사업도 시작됐다. 과기정통부는 지난해 말 ‘2026 AI Co-Scientist Challenge Korea’를 공고하고 AI를 활용해 실제 과학기술 연구를 수행하는 분야와 연구용 AI 에이전트를 개발하는 분야로 나눠 참가팀을 모집했다. AI 에이전트 개발 부문에서는 올해 1월 10개 팀이 지원 대상으로 선정됐다.

경진대회에서는 AI를 이용한 연구 수행과 연구보고서 작성, 과학 연구에 사용할 AI Agent 개발이 각각 진행됐다. 과기정통부는 연구 기획부터 데이터 분석과 검증, 논문 작성까지 AI를 사용하는 연구 방식을 실험 대상으로 삼았다. 우수팀에는 후속 국가 연구개발과 연계해 최대 25억원 규모의 사업화 지원이 예정됐다.

지난 2월에는 ‘AI+S&T 혁신 기술개발 R&D’ 신규 과제가 공모됐고 4월에는 ‘AI 기반 대학 과학기술 혁신사업’도 시작됐다. 대학 안에서 개별 연구자가 생성형 AI를 사용하는 수준을 넘어 과학기술 연구에 필요한 AI 모델과 연구 환경을 대학 차원에서 구축하는 정책이 이어지고 있다.

연산 인프라도 동시에 늘리고 있다. 과기정통부의 2026년 업무계획에는 산업계와 학계, 연구 현장의 GPU 수요를 지원하기 위해 올해까지 누적 3만7000개의 GPU를 확보하는 계획이 들어갔다. 정부 직접 확보 물량 1만5000개와 국가 슈퍼컴퓨터 6호기 9000개 등이 포함됐으며 국가 프로젝트와 공공 AI 서비스, 스타트업, 지역 AI 전환 사업 등에 배분하는 방안이 제시됐다.

2026년 정부 전체 연구개발(R&D) 예산은 35조5000억원으로 전년 29조6000억원보다 19.9% 늘었다. 투자 분야에는 차세대 AI와 피지컬 AI, 양자·반도체를 비롯한 국가전략기술이 포함됐다. 과기정통부가 올해 확정한 연구개발사업 종합시행계획 규모는 8조1188억원이다.

연구비가 늘어도 AI 과학 연구의 경쟁 조건은 기존 R&D와 차이가 있다. OpenAI의 나비에–스토크스 연구에서는 수천개의 에이전트가 짧은 시간에 여러 접근법을 동시에 시도했다. 에이전트 한 개가 실패하면 다른 에이전트가 다른 방법을 탐색하고, 중간 성과가 나오면 즉시 다른 그룹으로 전달됐다. 병렬 탐색에 투입할 계산량이 커질수록 시도할 수 있는 연구 경로도 함께 늘어나는 구조다.

대학과 연구기관에서는 계산 자원의 접근 방식이 연구 주제 선택에도 영향을 줄 수 있다. 대규모 GPU와 최신 모델을 이용할 수 있는 연구진은 수백·수천개의 가설을 병렬로 시험할 수 있지만 제한된 연산 환경에서는 같은 규모의 연구를 그대로 재현하기 어렵다. AI를 과학 연구에 투입하는 정책이 모델 개발 지원과 함께 연구자들이 실제 사용할 수 있는 계산 자원과 공용 연구 환경까지 포함하는 이유도 여기에 있다.

AI 에이전트가 모든 과학 분야에서 같은 방식으로 작동하는 것도 아니다. 수학에서는 증명을 생성한 뒤 Lean 같은 형식체계에서 논리를 점검할 수 있다. 화학에서는 AI가 제안한 분자와 반응을 실제 합성으로 확인해야 하고, 생명과학에서는 세포와 동물, 임상자료를 이용한 검증이 뒤따른다. AI가 탐색할 후보를 빠르게 늘릴수록 결과를 확인하는 실험 장비와 연구 인력의 처리 능력도 함께 요구된다.

OpenAI가 사용한 내부 모델은 현재 일반 연구자가 이용할 수 있는 공개 모델과도 다르다. 회사는 나비에–스토크스 연구에 당시 공개 모델 GPT-6 Astra보다 성능이 상당히 높은 훈련 중인 내부 모델을 사용했다고 밝혔다. 88시간의 연구 성과에는 에이전트 수뿐 아니라 공개되지 않은 모델과 자체 컴퓨팅 환경이 함께 투입됐다.

한국의 AI Co-Scientist 정책에서는 대학과 정부출연연구기관을 포함한 연구 현장에 어떤 수준의 AI와 연산 환경을 제공할지가 실제 연구 범위를 결정하는 요소로 들어간다. 과기정통부는 2030년 노벨상급 연구 성과 창출을 목표로 AI Co-Scientist와 과학기술 AI 파운데이션 모델을 추진하고 있으며, 올해 AI+S&T 연구개발과 대학 과학기술 혁신사업도 별도로 가동했다. 목표와 별개로 개별 연구 성과는 각 분야의 학술 검증과 실험을 거쳐 평가된다.

OpenAI가 공개한 나비에–스토크스 증명도 같은 검증 과정을 지나고 있다. CMI는 9월 11일 수학계가 새로운 기법을 분석하고 검토하는 과정을 지켜보겠다고 밝혔으며, 밀레니엄 문제의 공식 판정 절차는 서두르지 않고 진행하겠다는 입장을 냈다.

약 1만개의 에이전트가 88시간 동안 한 수학 문제를 탐색한 연구가 등장한 해에 한국에서는 AI Co-Scientist, AI+S&T 연구개발, 대학 과학기술 AI 사업이 동시에 가동됐다. 올해까지 정부가 확보하기로 한 GPU는 누적 3만7000개다. 수학 난제에서 시작된 대규모 AI 연구 방식이 물리·화학·바이오와 소재 분야로 넓어지면서 연구기관이 갖춰야 할 자원도 논문과 실험장비에서 AI 모델, GPU, 에이전트 시스템과 검증 환경까지 확대되고 있다.