머신러닝·인과모델·생성형 AI·에이전트 AI 결합…연구 속도보다 판단 회로 재편에 초점
[KtN 최기형기자]바이오·제약 R&D에서 AI 경쟁은 생성형 AI 하나로 설명되지 않는다. 맥킨지앤드컴퍼니는 2026년 6월 공개한 바이오·제약 R&D 분석에서 머신러닝, 인과모델, 생성형 AI와 파운데이션 모델, 에이전트 AI가 함께 작동할 때 연구개발의 학습 회로가 닫힌다고 봤다. 개별 도구의 성능보다 데이터, 실험, 판단, 후속 검증이 끊기지 않고 이어지는 구조가 신약개발 생산성을 좌우한다는 분석이다.
생성형 AI는 바이오 산업에서 가장 눈에 띄는 기술이다. 새로운 분자 구조를 만들고, 단백질 서열을 제안하고, 항체 후보를 넓은 범위에서 탐색한다. 후보물질 설계에서 결합력, 선택성, 안정성, 안전성 조건을 동시에 반영할 수 있다는 점도 주목받는다. 다만 생성형 AI가 만든 후보와 가설은 곧바로 신약개발 성과가 되지 않는다. 어떤 후보가 실제 질병 생물학과 맞닿아 있는지, 어떤 환자군에서 의미가 있는지, 제조와 임상 단계까지 갈 수 있는지 검증하는 과정이 뒤따라야 한다.
머신러닝은 이 검증 구조의 분석 기반으로 들어간다. 유전체, 영상, 전자의무기록, 실험 결과처럼 서로 다른 데이터를 묶어 질병 아형과 바이오마커 후보를 찾는다. 후보물질 탐색에서는 화합물 활성과 생물학적 반응을 예측해 실험 자원을 어디에 쓸지 가른다. 연구팀이 모든 가능성을 실험실에서 확인하기 전에, 데이터 안에서 반복적으로 나타나는 신호를 먼저 좁히는 역할이다.
인과모델은 머신러닝이 찾은 신호를 한 번 더 가른다. 임상과 생물학 데이터에는 질병과 함께 나타나는 변수와 질병 진행을 실제로 움직이는 변수가 섞여 있다. 상관관계가 높다고 해서 약물 표적이 되는 것은 아니다. 질병과 함께 관찰되는 바이오마커를 표적으로 삼았다가 개발 후반에 실패하는 경우가 적지 않다. 맥킨지는 인과모델이 표적 유전자가 질병 진행에 실제 영향을 주는지 평가하고, 임상 개발에서는 치료 반응을 예측하는 환자 특성을 구분하는 데 쓰인다고 설명했다.
생성형 AI와 파운데이션 모델은 탐색 공간을 넓힌다. 기존 스크리닝 방식이 이미 존재하는 물질과 제한된 후보군 안에서 출발했다면, 생성형 모델은 아직 존재하지 않는 분자 구조와 실험 가설을 만든다. 소분자 신약에서는 결합 친화도와 선택성을 높인 구조를 제안하고, 바이오의약품에서는 항체·단백질 서열 생성, 친화도 성숙, 에피토프 표적화, 개발 가능성 최적화에 적용된다. 단백질 서열과 구조 데이터를 학습한 파운데이션 모델은 후보 변이를 빠르게 탐색하고, 결합 안정성·제조 가능성·안전성 조건을 함께 검토하는 방향으로 확장되고 있다.
에이전트 AI는 흩어진 AI 기능을 연구 흐름 안에서 묶는 역할을 맡는다. 단일 질문에 답하는 챗봇과 달리 에이전트 시스템은 목표를 설정하고, 다음 단계를 제안하며, 실행 결과를 평가한 뒤 계획을 고친다. R&D 현장에서는 문헌 검토, 계산 예측, 실험 의뢰, 결과 분석, 다음 가설 수정을 연결한다. 임상 개발에서는 데이터 흐름을 자동화하고, 임상 운영을 모니터링하며, 프로토콜 변경 검토안을 인간 판단용으로 제시한다. 맥킨지가 에이전트 AI를 닫힌 학습 회로의 ‘연결 조직’으로 본 이유가 여기에 있다.
연구개발 현장에서 네 가지 기술은 따로 움직이지 않는다. 머신러닝이 환자군과 질병 패턴을 좁히고, 인과모델이 실제 작동 변수를 가른다. 생성형 AI는 새로운 후보와 가설을 제시하고, 에이전트 AI는 문헌·실험·임상 데이터를 묶어 다음 판단을 준비한다. 자동화 실험실과 고처리량 스크리닝은 모델이 만든 가설을 빠르게 시험하고, 실험 결과는 다시 모델의 입력값으로 돌아간다. 연구 속도를 높이는 수준을 넘어 판단의 지연을 줄이는 구조다.
후보물질 최적화 과정에서 변화는 더 뚜렷하다. 기존 설계-제작-시험-분석 과정은 연구자가 실험을 설계하고, 장비를 운용하고, 데이터를 정리한 뒤 다음 후보를 다시 고르는 방식에 가까웠다. AI가 들어간 구조에서는 예측 모델이 결합력·안정성·면역원성 같은 특성을 먼저 평가하고, 자동화 실험 시스템이 데이터를 대량으로 만든다. 에이전트 AI는 실험 계획과 결과 통합, 다음 후보 수정까지 이어간다. 가능성이 낮은 후보는 앞에서 빠지고, 가능성이 높은 후보에는 실험과 인력이 더 빨리 집중된다.
맥킨지 보고서의 도표는 연구 생산성의 변화를 자동화 수준별로 제시한다. 연구자가 장비를 직접 운용하고 데이터를 수집하는 단계의 생산성을 기준으로 삼으면, AI 포인트 솔루션을 붙인 단계에서는 생산성이 1.2배 수준으로 올라간다. 에이전트, 자동화, 예측 AI가 결합된 닫힌 연구 시스템에서는 2~5배로 커지고, 업무흐름까지 재설계한 통합 R&D 구조에서는 10배 이상으로 높아질 수 있다는 구도다. 숫자의 의미는 단순한 속도 향상보다 크다. 연구자가 모든 절차를 직접 조율하는 방식에서, 연구자가 AI와 자동화 시스템을 감독하며 고부가 판단에 집중하는 방식으로 역할이 이동한다.
임상시험에서도 에이전트 AI의 역할은 자동 결정이 아니라 감독받는 의사결정 지원에 가깝다. 등록 속도, 중도 탈락률, 대조군 가정, 임상기관 성과를 계속 점검하고, 환자군 조정이나 평가변수 변경 가능성을 시뮬레이션한다. 규제 제출 전에는 과거 기관 피드백과 기준을 바탕으로 자료의 공백과 위험 문구를 찾아낼 수 있다. 승인된 프로토콜을 AI가 임의로 바꾸는 방식은 아니다. 임상·규제 거버넌스 안에서 사람이 판단하고, AI는 판단에 필요한 분석과 대안을 더 빨리 준비한다.
맥킨지가 언급한 멀티에이전트 연구 시스템은 AI 신약개발의 방향을 잘 드러낸다. FutureHouse의 Robin은 문헌 검토, 가설 생성, 실험, 데이터 분석을 통합해 흩어진 과학적 단서를 시험 가능한 가설로 바꾸는 시스템으로 소개됐다. Google DeepMind의 Co-Scientist도 약물 재창출, 병용요법 후보, 섬유증 표적, 항생제 내성 유전자 전달 메커니즘 탐색에서 연구 보조 능력을 보였다고 보고서는 설명했다. 두 흐름 모두 AI가 단순히 답을 생성하는 수준에서 벗어나 연구 절차를 여러 단계로 나눠 조율하는 방향으로 움직이고 있음을 보여준다.
글로벌 AI 산업의 흐름도 같은 방향으로 이동하고 있다. 초기 생성형 AI 경쟁은 텍스트와 이미지 생성 성능에 집중됐다. 기업 현장에서는 문서 작성, 검색, 요약, 코드 생성이 먼저 확산됐다. 그러나 산업 생산성의 병목은 단일 산출물 생성보다 여러 부서와 시스템을 지나가는 업무흐름에 더 많이 남아 있다. 바이오 R&D에서 에이전트 AI가 주목받는 배경도 여기에 있다. 문헌, 데이터, 실험, 임상, 규제 검토가 하나의 절차 안에서 이어질 때 AI는 보조 도구를 넘어 운영 체계의 일부가 된다.
AI 신약개발 경쟁은 데이터 소유권과 조직 역량 경쟁으로도 번진다. 클라우드 기업은 대규모 컴퓨팅과 모델 운영 인프라를 제공할 수 있다. 전문 AI 기업은 특정 알고리즘과 분석 도구를 공급할 수 있다. 그러나 어떤 데이터를 축적하고, 어떤 판단을 내부에 남기며, 어떤 실험 결과를 다음 연구 기준으로 삼을지는 제약사와 연구조직이 결정해야 한다. 맥킨지는 폐쇄형 학습 회로의 경쟁력이 외부 도구 구매만으로 만들어지지 않는다고 봤다. 내부 과학 역량과 AI 역량이 같은 업무흐름 안에 들어가야 지속적인 우위가 생긴다는 판단이다.
한국 바이오 산업에도 같은 기준이 적용된다. 병원 데이터, 유전체 분석, AI 반도체, 클라우드, 제약사 파이프라인, 임상시험 인프라가 따로 존재하는 것만으로는 충분하지 않다. 환자 데이터가 질병 세분화와 표적 검증으로 이어지고, 후보물질 실험 데이터가 임상 설계와 제조 전략으로 돌아가야 한다. AI기업의 모델 개발과 제약사의 연구개발 판단이 분리돼 있으면 성과는 개별 프로젝트에 머물 가능성이 크다. 데이터와 의사결정이 함께 움직이는 구조가 만들어져야 AI 바이오 경쟁에서 산업적 축적이 가능해진다.
생성형 AI는 신약개발의 출발선을 넓히고 있다. 에이전트 AI는 넓어진 출발선을 연구 절차 안에서 실제 판단으로 연결한다. 머신러닝과 인과모델은 후보와 가설을 검증 가능한 방향으로 줄인다. 자동화 실험실은 판단에 필요한 데이터를 다시 공급한다. 맥킨지의 AI 전환론은 네 가지 기술의 결합을 통해 연구개발을 단절된 단계가 아니라 계속 학습하는 회로로 바꾸는 데 초점을 맞춘다.
바이오 R&D의 다음 격차는 더 강한 생성 모델 하나에서만 나오지 않는다. 후보를 만들고, 검증하고, 실패를 반영하고, 임상과 제조 판단까지 되돌리는 속도가 산업 경쟁력을 가른다. AI 신약개발은 생성형 AI 경쟁을 지나 에이전트 루프 경쟁으로 이동하고 있다. 신약개발 40억 달러 시대에 필요한 기술은 더 많은 답을 내놓는 AI가 아니라, 더 빨리 틀리고 더 정확하게 다시 판단하게 만드는 AI다.
후원=NH농협 302-1678-6497-21 위대한자
