이번 Nature Medicine에는 눈에 띄는 아티클이 실렸습니다. 바로 ‘의료 초지능을 어떻게 검증할 것인가 (Toward a test of medical AI superintelligence)‘라는 제목의 아티클이었습니다. 제가 알기로 Nature, NEJM, JAMA 급의 의학 전문지에서 초지능(superintelligence)을 진지하게 다룬 것은 이번이 처음입니다.
저자들의 면면도 화려하면서도 의미심장합니다. 스탠퍼드의 Jonathan Chen, Ethan Goh, 하버드의 Rajpurkar, 스크립스의 Eric Topol 등과 같은 학계 유명 인물들 뿐만 아니라, 구글, OpenAI, Anthropic, Microsoft 등의 인공지능 관련 기업의 주요 인물까지 이름을 올리고 있습니다. 이를 보면, 이 아티클은 단순히 의료 분야의 초지능의 특성을 설명한다기 보다, 이 ‘초지능’이라는 파격적인 용어를 업계에서 어떻게 공통적으로 정의하고, 어떻게 헤게모니를 쥘 것인지의 목적이 담겨져 있다고 보입니다.
실제로 논문의 초반부에 이런 내용이 담겨져 있습니다. 마이크로소프트는 멀티 에이전틱 AI인 MAI-DxO의 성능을 공개하면서 ‘의료 초지능으로 가는 길’이라고 언급했고, OpenEvidence도 ‘medical superintelligence’ 을 지향한다고 천명하고 있는 상황에서 ‘의료 초지능’에 대한 합의된 정의가 시급히 필요하다는 것입니다. 또한 (제가 최근에 열심히 팔로업하고 있는) 자율 의료 인공지능의 등장도 초지능에 대한 기준이 필요한 중요한 맥락으로 언급됩니다.
의료 초지능에 도달했는지 어떻게 알 수 있는가
그렇다면 ‘의료 초지능’에 도달했다는 것은 우리가 어떻게 알 수 있을까요? 혹은 ‘의료 초지능’을 어떻게 정의해야 할까요?
아티클에서는 먼저, 현재와 같은 벤치마크 점수 그 자체로는 의미가 없으며, 초지능 여부도 검정하지 못한다고 언급합니다. 진단 정확도가 75%라고 하면 부족해보일 수 있지만, 평균적인 의사는 65%라면, 혹은 AI의 대안이 즉각적인 전문의 진료가 아니라 6개월 동안 대기해야 한다면, 더 나아가서 AI의 오류 빈도가 낮더라도, 그 오류가 매우 심각한 것이라면 등등을 고려해야 한다고 합니다.
특히 (이것은 제가 여러번 별도로 언급한 적이 있는 주제입니다만) 인상깊은 언급은 ‘의사+AI’ < ‘AI 단독‘의 패턴이 일관적으로 나타나고 있다는 것입니다. 또한 현재는 인간이 AI를 감시하는 human-in-the-loop 시스템을 기본으로 구현되고 있지만, 수십년의 연구에 따르면 자동화 편향과 알람 피로에 따라 인간은 장기적으로는 자동화 시스템의 신뢰할만한 감독자가 아니라는 것을 언급합니다. 그래서 ‘불편한 진실’은 지금도 CDSS로 배포된 AI가 현실에서는 사실상 (de facto) 자율 인공지능으로 사용되고 있다는 것이지요. 그래서 결국 human-on-the-loop으로, AI가 필요할 때에만 인간에게 에스컬레이션하는 쪽으로 발전해야 한다고도 주장합니다.
또한 벤치마크는 그것이 어떻게 설계되느냐에 따라서 테스트 결과와 배포에도 큰 영향을 미치고, 이것이 결국에는 환자에게도 영향을 준다는 것을 지적합니다. 예를 들어, AI가 너무 과대 평가될수도, 너무 과소평가될 수도 있다는 것이지요.
많은 경우 임상 연구에서는 벤치마크 설계가 AI를 과대평가하게끔 되어 있다고 언급합니다. 대조군으로 참여하는 의사가 평소에 쓰는 도구를 금지한 채로 비교 당해서 AI가 ‘초인간적’으로 보이기도 한다는 거죠. 반대로 AI가 과소평가하게끔 되어 있는 디자인도 있습니다. 예를 들어, 환자 메시지 한번에 4지 선다 답을 요구하거나, 멀티턴을 허용하지 않는 임상 디자인에서 AI의 성능이 현실적인 상황보다 훨씬 낮게 나왔다는 연구를 인용합니다
의료 초지능을 어떻게 정의해야 하는가
그렇다면, ‘의료 초지능’을 어떻게 정의해야 할까요? 아래와 같이 세 가지를 언급합니다.
1. 단순히 평균 의사보다 나은 정도로는 부족합니다. 진정한 초지능이라면 최고의 임상의, 더 나아가서 여러 임상의들로 이루어진 팀을 능가해야 합니다. 이런 점에서 기존의 연구에서 대조군으로 참여하는 인간 의사 그룹은 의료 현장에서의 현실을 반영하지 못합니다. 현실에서는 다학제 튜머 보드, 환자를 시간을 두고 여러번 재평가 하는 등, 집단적 팀워크로 이뤄지는데, 현재의 벤치마크는 주로 개별 의사의 스냅샷 만을 보기 때문입니다.
2. 초지능은 환자 진료에 필요한 역량 전체를 포괄해야 합니다. 최소한 진단 추론, 관리 추론, 멀티모달 분석, 안전, 위해 회피, 불확실성 하의 캘리브레이션 등을 포함되어야 합니다. 비용-효과의 트레이드 오프에 대한 평가도 포함되어야 하고 (민감도가 올라가더라도, 과잉치료 및 비용 상승이 안되어야 함), 중증 위해 가능성이 낮아야 합니다. (최근 NOHARM 벤치마크를 보면 프론티어 모델들도 중증 위해 가능성이 적지 않게 나옵니다)
3. 장기적인/에이전틱 과제를 통해서 테스트를 해야 합니다. 기존의 평가들은 대부분 고립된 단일 결정 (직후 단계의 진단, 검사, 치료)에 치중하지만, 현실에서는 당뇨, 심부전, 암, 정신건강 등은 수개월에서 수년에 걸쳐서 반복적으로 진료 받고, 새로운 정보를 반영하는 과정을 거칩니다. 이는 현재 아주 정교하게 제작된 환자 시뮬레이션 케이스 (vignette)의 정답을 고르는 것과는 크게 다릅니다.
사실 ‘초지능’ 개념에 익숙하신 분들이라면, ‘이 정도를 가지고 초지능이라고 할 수 있을까?’ 하는 생각이 먼저 드실 것입니다. 닉 보스트롬 같은 분들이 정의하는 초지능은 ‘전 인류의 지적 역량 총합을 초과하는 시스템’, 쉽게 말해 ‘마법이랑 구분할 수 없을 정도로 인간은 이해 자체가 불가능한 초월적 지적 존재’ 정도로 정의되곤 하는데요. 특히, 초지능을 논할 때 나오는 지능 폭발이나, 재귀적 자기 개선 등에 대한 언급도 빠져 있습니다. 이는 학술지, 특히 의학적 학술지의 성격을 고려하면 어쩔 수 없는 부분처럼 느껴지기도 합니다.
인공지능이 최고의 의료전문가를 지속적으로 능가한다면
다만 이와 관련되는 흥미로운 논의가 아티클의 마지막에 나옵니다. 바로 AI가 발전을 거듭하다보면, ‘인간 의사를 기준으로 하는’ 현재의 벤치마크 자체가 무너지는 시점이 올 것이라는 점입니다. 만약 인공지능이 최고의 의료 전문가들과 다른 결정을 지속적으로 내리면서도, 그것이 궁극적으로 옳다고 판명된다면, 인간의 판단을 기준으로 한 지표는 더 이상 유의미하지 않을 것입니다.
그렇기 때문에 궁극적으로는 의료 초지능을 평가하기 위해서, 기준은 벤치마크에서 hard clinical outcome으로 이동해야 한다는 결론을 내립니다. 즉, AI를 실제 의료 환경에서 대규모 RCT를 기반으로 ‘실제 치료 효과가 좋아지는지’를 초지능 검증의 기준으로 봐야 한다는 것입니다. (중요한 템플릿으로 스웨덴에서 10만명 이상 여성 대상의 유방촬영술에서 AI의 가치를 RCT로 입증한 MASAI 임상 연구를 예시로 듭니다)
이 부분은 당연하다는 생각이 들면서도, 또 한 편으로 초지능을 논할 정도로 기술적인 발전이 빨리 일어나는데도, 수년 동안 걸리는 RCT를 매번 해야 한다면, 환자에게 도달하기까지의 지연 비용이 너무 커지는 것 아닌가 하는 생각도 하게 됩니다. (일례로 MASAI 임상시험은 2021년에 시작해서, 2026년에 결과가 나왔는데, 2021년은 GPT-3.5도 나오기 전입니다.) RCT를 하더라도 현재의 기술적인 발전 속도에 맞게 근거를 빠르게 만들 수 있는 방법이 필요하다는 생각을 하게 됩니다.
MAST 프레임워크
이 아티클의 가장 직접적인 의도는 저자들이 만든 MAST (Medical AI Superintelligence Test)라는 프레임워크를 제안하기 위함입니다. USMLE나 MedQA와 같은 지식 기반 평가는 이미 프론티어 모델들에게 모두 학습되었기 때문에, 더 이상 의미가 없다는 것이지요. 저자들은 이 MAST가 의료 분야에서의 Humanity’s Last Exam과 같은 역할을 하기를 원하고 있습니다. 이번 아티클에서 언급된 것처럼, 단일 임상 역량이 아닌, 진단, 관리, 안전성, 영상의학, 멀티모달, 에이전틱 분야에서 모델의 역량을 측정할 수 있도록 분야별 최고 품질의 벤치마크를 대표성 있게 모아서 (여기에 MAST 전용 수정이 더해져서) 분석이 가능해지도록 했습니다.
이번 아티클만으로 의료 초지능의 논의를 선점했다고 보기는 어려울 수도 있겠지만, Nature 급의 저널에 처음 나온 논의라는 점, 학계와 산업계를 망라하는 저자들의 면면히 화려하다는 점 등을 고려하면, 이제 MAST를 기반으로 ‘초지능으로 가는 과정에 있는’ 인공지능들의 성능이 평가될 것 같습니다.
글쓴이
최윤섭
디지털 기술과 생명과학, 의학의 융합을 통해 사회적 가치를 창출하고 의료를 혁신하는 것을 화두로 삼고 있는 디지털 헬스케어 전문가, 미래의료학자, 작가, 벤처투자자입니다. 포항공과대학교(POSTECH)에서 컴퓨터공학과 생명과학을 복수전공하였으며, 전산생물학으로 이학박사 학위를 취득하였습니다. Stanford University 방문연구원, 서울대학교병원 연구조교수를 역임하였습니다. 현재 디지털 헬스케어 스타트업 전문 투자사 디지털 헬스케어 파트너스(DHP)의 대표 파트너이며, 연세대학교 의과대학 예방의학교실 외래조교수이기도 합니다. 『디지털 헬스케어: 의료의 미래』, 『의료 인공지능』, 『헬스케어 이노베이션』 등을 집필하였으며, Science의 제1저자를 비롯해서, 주요 국제 학술 저널에 다수의 논문을 개제하였습니다. npj Digital Medicine Editorial Board 멤버이자, 대한의료인공지능학회 설립 발기인 및 기획이사로 활동했습니다. 식약처 및 심평원의 자문위원이기도 합니다.
최윤섭의 디지털 헬스케어에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
