이 연구는 제가 최근에 읽었던 논문들 중에서 가장 재미있으면서도, 가장 많은 상상의 나래를 펴게 했습니다. 누구나 한번쯤 ‘가상 세계’ 속에서 사람(?)들이 서로 상호작용하며 살아가는 것을 상상해본 적이 있을 것입니다. 이를 소재로 한 게임이나, 영화도 많이 있지요. 제게는 라이널 레이놀즈가 주연한 2021년 영화 ‘프리가이‘가 떠오릅니다. 이 영화는 가상 현실 게임 속에서 살아가는 NPC (Non-Player Character, 게이머가 아닌 주변 캐릭터)들이 자의식을 가지게 되면서 벌어지는 일들을 다루고 있는데요. 이 게임 속에서는 여러 직업을 가진 존재들이 실제 인간처럼 서로 상호작용하고 살아가는 모습을 그립니다.
여기에서 우리는 흥미로운 질문을 던져볼 수 있습니다. 가상 세계 속의 존재들이 시간이 지나면서 경험을 쌓을 수 있게 한다면, 직업적인 역량이 좋아질까요? 예를 들어, 가상 세계 속의 의사가 환자를 진료하는 경험을 쌓으면, 실력이 더 좋아질까요? 더 나아가서, 그렇게 가상 세계 속에서 쌓은 의학적인 경험이, 현실의 환자를 진료하는 데에도 적용할 수 있을까요? 만약 그렇다면, 우리는 가상 세계 속의 시간을 엄청나게 빠르게 흐르도록 설정해서 (현실에서는 불가능한) 방대한 숫자와 방대한 분야의 환자를 진료한 경험을 가진 ‘슈퍼 휴먼’ 의사를 만들어낼 수도 있지 않을까요.
최근 중국 칭화대 연구진들은 병원의 환경을 가상 세계 속에 그대로 구현한 ‘에이전트 병원(Agent Hospital)‘을 만들어서, 이 질문에 답해보았습니다. 이 에이전트 병원은 의사 에이전트, 간호사 에이전트, 그리고 환자 에이전트로 구성됩니다. 이 에이전트들은 ‘뇌’와 ‘신체’를 모두 가지고 있는데요. 각 에이전트는 샌드박스 게임 형식으로 구현된 시뮬레이션 세상 안에서 게임 캐릭터로서의 ‘신체’를 가지고, 또한 LLM을 일종의 ‘뇌’로 삼아서 사고하고, 기억하고, 경험을 쌓으며, 다른 에이전트과 커뮤니케이션을 하게 됩니다. 이를 통해 에이전트는 자율적으로 동작하면서 실제 환자처럼 병원을 방문하고, 실제 의사처럼 환자를 진료하게 됩니다. 이러한 과정에서 의사 에이전트는 자신의 의학적인 실력을 성장시키면서 진화할 수 있도록 했습니다.
스몰빌
논문에서 연구자들은 이렇게 ‘가상 병원’을 만드는 것은 스몰빌(Smallville)이라는 ‘가상 마을’을 만들었던 선행 연구에서 영감을 받았다고 밝히고 있습니다. 이 연구는 스탠퍼드 대학에 계시는 한국인 박사과정 박준성 님께서 진행하신 흥미로운 연구인데요. 인공지능 에이전트들의 ‘사회적 상호작용’을 연구하기 위해서, 25명의 에이전트로 구성된 작은 ‘마을’을 샌드박스 게임으로 구현하였습니다. 각 에이전트는 직업도 가지고 있고 (교수, 학생, 약국 주인, 화가 등), 출근, 업무 등의 일상 생활도 하면서, 서로 대화하고, 친구를 만들기도 하는 등의 상호작용을 하게 됩니다. 특히, 각 인공지능 에이전트는 자신이 했던 대화와 행동 등을 기억하고, 성찰하며, 더 나아가서는 미래에 대한 계획을 세울 수도 있게 디자인되었습니다.
이렇게 만든 ‘가상 마을’에서는 흥미로운 일들이 벌어집니다. 에이전트들 사이에 소문이 퍼지기도 하고, 이벤트를 계획하기도 합니다. 예를 들어, 한 에이전트에게 발렌타인 파티를 열자는 의도를 설정하자, 이 에이전트는 스스로 판단해서 다른 에이전트에게 파티 초대장을 보내고, 다른 에이전트과 협력하여 카페를 장식했습니다. 파티에 초대 받은 에이전트들은 다른 에이전트에게 데이트를 신청하고, 파티 일정에 맞게 참석하도록 계획을 세우고, 실제로 파티에 함께 참석하기도 하였습니다. 즉, 생성형 에이전트들이 ‘스스로 판단하여’ 서로 상호작용하고, 계획을 세우며, 이를 실행에 옮기는 등 실제 인간 사회에서 있을 법한 사회적 행동이 만들어지게 된 것입니다.
가상 병원의 구성
스몰빌이 가상의 마을을 만들었다면, 이 연구에서는 가상의 병원을 만들었습니다. 샌드박스 게임 형식으로 구현하였는데, 구체적으로는 맵 에디터 타일드(Tiled)로 병원 지도를 만들고, HTML5 게임 프레임워크인 페이져(Phaser)로 구동하였습니다. 병원은 환자 분류(triage), 등록(registration), 대기실, 상담실, 진료실, 약국 등 16개 구역으로 나뉘며, 총 32개 진료과 (임상과 21개, 비임상과 11개)에 속한 의사 에이전트 42명, 간호사 에이전트 4명으로 구성이 되어 있습니다. 각 에이전트는 개별적인 이름, 성별, 나이 및 역할이 부여되어 있습니다.
이런 환경에서 환자에게 병이 발생하면, 환자는 병원을 방문하여 병원 내부를 이동하면서 실제 병원처럼 진료를 받는 과정을 거치게 됩니다. 환자가 분류 장소에 도착하면, 간호사와 증상에 대한 대화를 하고, 특정 진료과로 안내되어 등록→대기합니다. 그리고 의사를 만나 진료→검사→진단을 받고, 약을 수령하고 귀가하는 순서의 이벤트를 겪게 됩니다. 이러한 과정에서 만약 병이 낫지 않는다면, 환자가 다시 병원을 방문하여 불평하며 새로운 진료 과정을 다시 시작하게 됩니다.
의사 에이전트의 ‘진화’
이런 반복적인 진료 과정을 통해서 의사 에이전트는 경험을 쌓고, 전문성을 축적합니다. 특히, 치료에 성공한 사례와 실패한 사례 모두에서 경험을 얻도록 구현되었습니다. 시뮬레이션 시작 단계에서 의사 에이전트는 일반적인 LLM에 내재된 일반적인 의학 지식만을 가지고 있습니다. (의사 에이전트의 초기 모델은 GPT-3.5를 사용한 것으로 나옵니다.)
이후 환자 에이전트를 반복적으로 진료하면서, 환자를 성공적으로 치료한 경우에 ‘의료 사례 기반 (Medical Case Base)’ 모듈에 저장합니다. 치료에 실패했을 경우에도 반성(reflection)을 통해 경험을 얻고, ‘경험 기반(Experience Base)’ 모듈에 규칙을 추가하여 같은 실수를 피하도록 합니다. 이러한 정보는 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 매커니즘을 통해서 이후의 진료에서 의사가 과거의 경험을 참고하여 환자를 진료하는 데 활용됩니다. 더 나아가서, 환자를 진료하지 않을 때, 의사 에이전트는 교과서를 읽으면서 지식을 습득하도록 디자인되어 있습니다.
이런 방식을 통해서, 이런 가상 환경에서 의사 에이전트는 시간이 지날수록 더 많은 환자를 진료하면서, 경험을 쌓고, 교과서를 읽으면서 의사로서의 실력을 ‘진화’시키게 됩니다.
환자 에이전트 ‘자동’ 생성
그렇다면 의사 에이전트가 진료하는 환자 에이전트는 어떻게 생성할까요? 이 연구에서 환자 에이전트는 의사 에이전트를 학습시키기 위한 일종의 훈련 데이터라고 할 수 있습니다. 양과 질 모두 좋은 데이터로 학습시켜야만, 좋은 인공지능 모델을 만들 수 있기 때문에, 이 연구에서는 얼마나 진짜 환자와 같은 환자 에이전트를 많이 만들어내느냐가 관건일 것입니다.
이 연구에서 가장 특징적인 것 중의 하나가, 바로 환자 에이전트를 사람이 레이블링하지 않고, 가상 세계에서 자동으로 생성했다는 것입니다. 의학 지식에 근거해서 LLM으로, 이 환자의 질병 뿐만 아니라, 이름/성별/나이와 같은 기본적인 정보, 과거 병력, 증상 리스트 등을 자동으로 생성합니다. 이렇게 생성된 환자 에이전트는 의학적 지식에 부합하는지 품질 관리 에이전트의 검수를 거칩니다.
이렇게 환자 에이전트는 의학적인 지식을 바탕으로 하면서도, 사람의 수작업 레이블링 없이, 완전히 자동화된 방식으로 생성됩니다. 즉, 의사 에이전트의 훈련을 위한, 현실에 가까운 환자 에이전트를 ‘무한대’로 만들어낼 수 있다는 뜻입니다. 이 점 때문에 이 연구는 큰 확장성을 지니게 됩니다.
의사 에이전트의 실력은 좋아졌을까
그렇다면, 가상의 환자 에이전트를 반복적으로 진료하면서 의사 에이전트의 실력은 정말로 좋아졌을까요? 연구진은 이를 가상 세계와 현실 세계 모두에서 평가했습니다. 가상 세계에서는 의사 에이전트의 능력을 의료 검사 선택 (적절한 검사를 지시하는가), 진단 (정확한 진단을 내리는가), 치료 계획 추천 (적절한 치료 계획을 추천하는가) 세 가지 기준으로 평가했습니다.
일단 총 32개의 진료과에서 339개 질환에 대해서, 각 진료과별로 20,000명에 달하는 환자 에이전트를 생성해서 의사 에이전트의 경험을 쌓게 하고, 새로운 환자 에이전트 200명을 생성하여 테스트 해보았습니다. 이렇게 했더니, 처음에 의사 에이전트가 일반 LLM에 내재된 기본적인 의학 지식만을 사용해서 진료할 때보다, 20,000명을 진료한 이후에 진단 정확도가 크게 높아졌습니다. 예를 들어서, 심장내과에서 류머티즘성 심장질환 진단 정확도는 초기 9%에서, 82%까지 향상되었습니다. 이러한 결과는 치과, 피부과, 응급의학과, 내분비내과, 소화기내과 등 여러 진료과의 여러 질병에서 유사하게 관찰되었습니다.
더 나아가서, 호흡기내과에서는 의사 에이전트가 총 50,000명의 환자 에이전트를 진료하는 과정에서 정확도가 어떻게 향상되는지를 관찰해보았습니다. 초기 모델의 정확도는 약 66%였는데, 첫 10,000명을 진료할 때 진단 정확도가 급격하게 샹항되었으며, 이후에도 완만하지만 꾸준하게 향상되는 것을 볼 수 있었습니다. 즉, 환자 에이전트를 많이 진료하면 진료할수록 의사 에이전트의 실력이 향상된다는 것을 증명한 것입니다.
그런데 이 데이터들은 모두 가상 세계 속에서 생성한 환자를 대상으로 테스트한 결과입니다. 그렇다면 과연 의사 에이전트의 ‘가상 세계 속에서’ 향상된 실력이, 실제 현실에서도 적용될 수 있을까요? 가상 세계에서 얻은 성과가 현실 세계에서 동일하게 재현되리라는 법은 없기 때문에, 이를 증명하는 것이 중요합니다. (이를 가상 세계와 현실 세계의 정렬(alignment) 문제라고 합니다.) 이를 테스트하기 위해서 연구진들은 MedQA라는 미국 의사 면허 시험 스타일의 문제로 테스트해보았습니다. 그 결과 가상 세계에서 환자 에이전트를 많이 진료한 의사 에이전트일수록, 현실 세계의 의료 MedQA 문제에 대한 정답율도 높아진다는 것을 보여주었습니다. 총 50,000명의 환자를 진료하는 과정에서, 더 많은 환자를 진료할 수록 MedQA에 대한 정답율도 상승한다는 것을 보여준 것입니다.
특히, MedQA 문제에 대해서 92.2%에 달하는 정확도를 보여주며, 기존의 다른 의료 에이전트 방법론들에 비해서도 높은 성능을 보여주었습니다. 즉, 가상에서 학습한 의료 전문성이 현실 문제에도 전이될 수 있다는 것을 증명한 것입니다.
예를 들어, 67세 남성의 인지 기능 저하 및 낙상 관련 질문에 대해, CoT와 MedPrompt는 환자의 상태를 경막하 혈종(subdural hematoma)으로 오진하고 수술적 개입을 권장하여 정답을 찾지 못했습니다. 하지만 MedAgent-Zero는 검색된 경험과 유사한 의료 사례를 참고하여 환자의 상태를 정확히 혈관성 치매(vascular dementia)로 진단했으며, 그 결과 정답인 인지 훈련(cognitive training)을 제시했습니다.
기존의 연구들을 살펴보면, 기존의 대표적인 의료 특화 LLM으로 알려진 구글의 Med-PaLM2가 MedQA 벤치마크에 대해서는 86.5%의 정확도를 기록하며, 2023년 발표 당시에는 최고 성능을 보였습니다. 2025년 들어서 OpenAI의 o1 등의 추론형 모델이 MedQA 벤치마크에 대해서 90% 중반대의 성능을 보여주는 것에 비하면, 이 연구에서 나타난 92.2% 라는 정확도는 다소 낮기는 합니다. 다만 이 성과는 MedQA 벤치마크의 레이블링된 훈련 데이터를 전혀 사용하지 않고, 가상으로 만든 환자 에이전트만 학습해서 얻은 것이라는 점이 놀랍다고 할 수 있습니다.
‘슈퍼 휴먼’ 인공지능 의사
여기에서 논의를 조금 더 확장시켜 보겠습니다. 이 연구에서 환자 에이전트를 더 많이 진료할 수록, 의사 에이전트의 실력은 계속 향상됩니다. 그런데 이 환자 에이전트는 완전히 자동화된 방식으로 생성할 수 있으므로, 컴퓨팅 자원만 충분하다면 ‘무한히’ 만들어낼 수도 있습니다. 즉, 이 시뮬레이션 환경에서 의사 에이전트는 현실에서 실제 인간 의사에 비해서 훨씬 더 많은, 혹은 무한대의 환자 진료 경험을 축적할 수 있다는 것입니다. 그렇다면 이는 소위 ‘슈퍼 휴먼’ 의사 에이전트의 탄생으로 이어질 수 있지 않을까요?
이 논문에서는 50,000명의 환자 에이전트를 생성하여, 이를 진료하는 동안 의사 에이전트의 실력이 점진적으로 좋아진다는 것을 보였는데요. 예를 들어, 이를 1억명의 환자 에이전트로 늘려본다면 어떻게 될까요. 더 나아가 1조명이라면? 현실에서는 의사가 평생 진료할 수 있는 환자의 숫자는 제한적입니다. 하루에 20~30명 정도를 진료한다고 하면, 1년에 진료할 수 있는 환자는 1만명이 되지 않습니다. 그렇다면 평생동안 진료할 수 있는 환자는 50만명이 되지 않겠지요.
만약 인공지능 에이전트가 1억, 1조명의 환자를 진료한 경험을 쌓을 수 있다면, 이는 다양한 진료과에서 희귀질환까지 커버하는 슈퍼 휴먼 의사가 탄생할 수도 있습니다. 이 연구에서는 각 진료과별로 별도의 의사 에이전트가 독립적으로 진료했지만, 충분한 숫자의 환자 에이전트를 학습시킬 수 있으면, 진료과별로 의사 에이전트를 따로 두는 것이 무의미할 수도 있습니다. 모든 진료과에서 전문의를 능가하는 역량을 지닌 의사 에이전트가 탄생할 수도 있는 것이지요. 더 나아가, 인간은 과거의 경험을 망각하기도 하지만, 인공지능 에이전트는 과거의 경험을 잊지 않고 영구적으로 학습할 수 있습니다.
이러한 방법론을 이 연구에서는 메드에이전트-제로(MedAgent-Zero)라고 부릅니다. 여기에서의 ‘제로’는 ‘알파고 제로’에서 따온 것인데요. 잘 알려진 것처럼, ‘알파고 제로’는 이세돌 9단과 대결했던 알파고의 후속 버전입니다. 알파고-제로는 알파고와 달리 사람의 기보 (즉, 레이블링 된 데이터)를 전혀 쓰지 않고, 바둑 규칙만 습득하고 자기 자신과 대결하면서 스스로 학습을 했습니다. 이렇게 수백만 판의 바둑을 스스로 두면서, 인간의 기보를 배운 알파고보다도 더 강력한 성능을 지니게 되었습니다.
이 가상 병원에서도 의사 에이전트가 실제 환자의 레이블링된 데이터 없이 LLM과 의료 지식 베이스로 환자 에이전트를 스스로 생성하고, 이러한 환자 에이전트를 가상 환경에서 무한히 많이 진료하면서 의료 전문성을 빠르게 쌓게 되므로, ‘가상 병원’ 버전의 알파고 제로에 비유하고 있는 것입니다. 어쩌면 이 연구는 바둑에서는 인간이 영원히 뛰어넘을 수 없는 ‘알파고 제로’가 만들어졌던 것처럼, 의료에서 인간 의사를 아득히 뛰어넘는 ‘슈퍼 휴먼’ 인공지능 의사의 탄생을 예고하고 있는지도 모릅니다.
글쓴이
최윤섭
디지털 기술과 생명과학, 의학의 융합을 통해 사회적 가치를 창출하고 의료를 혁신하는 것을 화두로 삼고 있는 디지털 헬스케어 전문가, 미래의료학자, 작가, 벤처투자자입니다. 포항공과대학교(POSTECH)에서 컴퓨터공학과 생명과학을 복수전공하였으며, 전산생물학으로 이학박사 학위를 취득하였습니다. Stanford University 방문연구원, 서울대학교병원 연구조교수를 역임하였습니다. 현재 디지털 헬스케어 스타트업 전문 투자사 디지털 헬스케어 파트너스(DHP)의 대표 파트너이며, 연세대학교 의과대학 예방의학교실 외래조교수이기도 합니다. 『디지털 헬스케어: 의료의 미래』, 『의료 인공지능』, 『헬스케어 이노베이션』 등을 집필하였으며, Science의 제1저자를 비롯해서, 주요 국제 학술 저널에 다수의 논문을 개제하였습니다. npj Digital Medicine Editorial Board 멤버이자, 대한의료인공지능학회 설립 발기인 및 기획이사로 활동했습니다. 식약처 및 심평원의 자문위원이기도 합니다.
최윤섭의 디지털 헬스케어에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
