[AI 과학①] 나비에–스토크스 90년 난제, OpenAI가 해법 제시…1만 AI 에이전트 투입

[KtN 전성진기자]약 1만개의 인공지능(AI) 에이전트가 88시간 동안 하나의 수학 난제를 파고들었다. 서로 다른 방식으로 증명을 탐색하고 중간 결과를 주고받으면서 270만건의 메시지와 약 1300억개의 출력 토큰을 생성했다. 해법이 나온 뒤에는 GPT-6 Astra가 17시간에 걸쳐 증명을 Lean 형식으로 옮기고 검증했다. 대상은 90년 가까이 풀리지 않았던 나비에–스토크스(Navier–Stokes) 방정식의 존재성과 매끄러움 문제였다.

OpenAI는 지난 9월 8일 내부 AI 시스템이 나비에–스토크스 밀레니엄 문제의 해법을 도출했다며 수학적 증명과 Lean 형식 증명을 공개했다. 3차원 비압축성 유체가 매끄러운 초기 상태에서 출발해도 일정한 조건에서 유한한 시간 안에 특이점(singularity)을 만들 수 있다는 내용이다. OpenAI는 클레이수학연구소(Clay Mathematics Institute·CMI)가 제시한 공식 문제 가운데 C와 D 조건을 만족한다고 밝혔다.

나비에–스토크스 방정식은 물과 공기 같은 유체의 운동을 설명한다. 19세기 클로드 루이 나비에(Claude-Louis Navier)와 조지 가브리엘 스토크스(George Gabriel Stokes)의 연구에서 발전했으며 압력, 속도, 점성 등을 이용해 유체가 시간에 따라 움직이는 방식을 나타낸다. 항공기 주변의 공기 흐름부터 기상 예측, 혈관을 흐르는 혈액 분석까지 현대 과학과 공학의 여러 영역에서 쓰인다.

1934년 프랑스 수학자 장 르레(Jean Leray)는 나비에–스토크스 방정식의 해가 일반화된 형태로 존재한다는 연구를 내놨다. 이후 3차원에서 매끄럽게 시작한 해가 항상 매끄러운 상태를 유지하는지는 수학의 장기 미해결 문제로 남았다. 점성이 유체의 급격한 변화를 완화하는 상황에서도 속도나 변화율이 유한한 시간 안에 무한히 커지는 특이점이 발생할 수 있는지가 쟁점이었다.

CMI는 2000년 나비에–스토크스 문제를 7개의 밀레니엄 문제 가운데 하나로 지정했다. 각 문제의 해결에는 100만달러의 상금이 배정됐다. 7개 가운데 공식적으로 해결된 문제는 그리고리 페렐만(Grigori Perelman)이 증명한 푸앵카레 추측이며, 나비에–스토크스 문제는 9월 19일 현재 CMI 홈페이지에서 ‘Active’ 상태로 남아 있다.

OpenAI가 내놓은 증명은 특이점이 발생하는 구체적인 유체 운동을 구성하는 방식이다. 유체는 처음에는 정지해 있고 외부에서 매끄러운 힘이 가해진다. 이후 소용돌이가 안쪽으로 나선형을 그리며 좁아지는 동시에 중심축 방향으로 길게 늘어난다. 중심 영역의 크기는 계속 줄어들고 회전과 속도는 빠르게 증가하지만 전체 에너지는 유한한 상태를 유지한다.

가속도와 압력구배, 운동량 전달, 점성에 관계된 항은 이 과정에서 크게 증가한다. 증명에서는 각 항이 정교하게 상쇄되면서 외력은 매끄럽게 유지되고 유체의 속도만 제한 없이 커지는 구조를 만든다. 물이나 공기가 현실에서 무한한 속도로 움직인다는 의미가 아니라 나비에–스토크스 방정식의 수학적 해가 특정 조건에서 매끄러움을 잃는다는 내용이다.

증명에 사용된 연구 방식은 한 모델에 문제 하나를 입력하는 일반적인 생성형 AI 사용법과 달랐다. OpenAI는 8월 28일부터 수학을 포함한 내부 평가에서 성능이 크게 향상된 새로운 모델을 훈련했고, 9월 1일부터 여러 밀레니엄 문제와 관련 문제에 다수의 AI 에이전트를 투입했다. 나비에–스토크스 해법을 만든 그룹에는 약 1만개의 동시 에이전트가 참여했다.

에이전트들은 그룹별로 나뉘어 서로 다른 문제 설정과 해법을 탐색했다. 인터넷 자료를 읽고 코드를 실행할 수 있었으며 각 그룹에서 얻은 중간 결과 가운데 유용한 내용은 Codex가 정리해 다른 그룹의 후속 탐색에 사용했다. OpenAI는 연구가 진행되는 동안 추가 학습된 내부 모델을 에이전트 시스템에 투입하기도 했다.

나비에–스토크스에 앞서 약 100개의 에이전트는 점성항을 제거한 오일러(Euler) 방정식의 관련 문제를 약 50시간 동안 분석했다. 에이전트들이 외력이 없는 오일러 방정식의 정칙성 문제에 대한 결과를 내놓자 OpenAI는 다른 밀레니엄 문제에 배정됐던 자원을 나비에–스토크스 쪽으로 옮기고 오일러 결과를 새로운 탐색에 투입했다.

첫 에이전트가 작동한 뒤 약 88시간이 지난 9월 5일 나비에–스토크스 해법이 완성됐다. 전체 문제 탐색에서는 AI 에이전트들이 490만건의 메시지를 교환하고 약 3000억개의 출력 토큰을 사용했다. 나비에–스토크스 문제에만 270만건의 메시지와 약 1300억개의 출력 토큰이 들어갔다.

해법을 찾은 뒤에는 증명을 검증 가능한 수학 언어로 옮기는 작업이 이어졌다. GPT-6 Astra가 자연어와 수식으로 구성된 증명을 정리증명기(proof assistant) Lean에서 검사할 수 있도록 형식화했고, 변환과 검증에 17시간이 소요됐다. Lean은 정의와 공리, 추론 규칙에 따라 증명의 각 단계를 기계적으로 확인한다. OpenAI는 사람이 읽는 논문과 Lean 증명을 함께 공개했다.

수학계의 검토도 시작됐다. CMI는 9월 11일 별도 성명을 내고 나비에–스토크스 문제가 해결된 것으로 보이는 발표가 나왔다며 연구에 사용된 수학적 기법에 대한 분석과 검토를 지켜보겠다고 밝혔다. CMI 홈페이지에서 문제의 공식 상태는 아직 ‘Active’다.

밀레니엄 문제에는 별도의 인정 절차가 정해져 있다. CMI 규정에 따르면 제안된 해법이 공식적으로 심사 대상에 오르려면 적격 학술 매체에 출판돼야 하고, 출판 뒤 최소 2년이 지나야 한다. 세계 수학계에서 광범위한 검증과 수용을 얻는 절차도 요구된다. OpenAI는 이번 결과로 밀레니엄 문제 상금을 청구하지 않겠다는 입장을 밝혔다.

AI가 수학과 과학 연구에 투입되는 규모는 한국의 연구개발 정책과도 맞물리고 있다. 이재명 정부가 확정한 123대 국정과제 가운데 혁신경제 분야에는 ‘AI 3대 강국 도약’과 ‘기초가 탄탄한 과학기술’이 나란히 배치됐다. 과학기술 분야에는 ‘과학기술 5대강국 실현을 위한 시스템 혁신’, ‘기초연구 생태계 조성과 과학기술 인재강국 실현’, ‘세계를 선도할 넥스트(NEXT) 전략기술 육성’이 포함됐다.

과학기술정보통신부는 올해 AI를 과학 연구에 직접 적용하는 사업도 가동했다. 지난 2월 ‘AI+S&T 혁신 기술개발 R&D’ 신규 연구를 공모했고, 4월에는 ‘AI 기반 대학 과학기술 혁신사업’을 시작했다. 대학 연구자가 AI를 과학기술 연구 과정에 활용할 수 있도록 별도의 지원체계를 마련한 사업이다.

2026년 과기정통부 연구개발사업 종합시행계획에 잡힌 투자 규모는 총 8조1188억원이다. 정부는 AI 3강 도약과 과학기술 기반 혁신성장을 연구개발 방향에 함께 배치했다. 정부 업무계획에는 독자 AI 모델 개발뿐 아니라 과학 연구를 지원하는 ‘AI Co-Scientists’ 추진도 포함됐다.

OpenAI의 나비에–스토크스 프로젝트는 AI를 연구 보조 프로그램으로 사용하는 단계를 넘어 대규모 계산 자원을 하나의 연구 문제에 집중하는 방식으로 진행됐다. 약 1만개의 에이전트가 서로 다른 접근법을 탐색하고, 먼저 해결한 관련 수학 문제를 다음 연구에 투입하고, 최종 증명을 별도의 AI와 정리증명기로 다시 검증했다. 연구자 한 명과 AI 한 개가 대화하는 구조와는 필요한 컴퓨팅 자원과 연구 시스템의 규모가 다르다.

한국 정부가 추진하는 AI+S&T와 대학 과학기술 AI 사업도 연구 현장에서 AI 활용 범위를 넓히는 방향에 놓여 있다. OpenAI가 공개한 1만개 에이전트 규모의 연구 방식까지 국내 연구기관이 구현하려면 AI 모델뿐 아니라 대규모 연산 자원, 연구 데이터, 에이전트 간 협업 환경, 결과를 검증할 전문 연구진과 소프트웨어가 함께 필요하다. 정부 국정과제에는 GPU 5만장 조기 확보를 포함한 AI 컴퓨팅 인프라 확대도 담겨 있다.

나비에–스토크스 문제는 9월 19일 현재 CMI의 공식 검증 절차를 남겨두고 있다. OpenAI가 9월 8일 공개한 논문과 Lean 증명은 세계 수학자들이 검토할 수 있는 상태로 공개됐고, CMI는 9월 11일 관련 발표에 대한 공식 입장을 내놨다. 한국에서는 같은 해 AI+S&T 혁신 기술개발과 AI 기반 대학 과학기술 혁신사업이 시작됐다. AI가 과학자의 계산을 돕는 도구에서 여러 연구 경로를 동시에 탐색하고 새로운 증명 후보를 만들어내는 연구 인프라로 확장되면서, 과학기술 경쟁에서 모델 성능과 함께 계산 자원과 검증 체계의 비중도 커지고 있다.