지난 6월 30일 식약처가 ‘거대언어모델(LLM) 기반 디지털의료기기 허가·심사 가이드라인’을 발표했습니다. 생성형 인공지능 기반의 의료기기는 기존의 의료기기와 여러 측면에서 근본적인 차이가 있기 때문에 기존의 의료기기 규제 프레임워크를 그대로 적용하기에는 여러 근본적인 문제가 있습니다. 저는 그동안 여러 글을 통해서 이런 한계를 지적해왔고, 또한 고려되고 있는 여러 대안을 살펴보았었는데요.
이번 가이드라인은 식약처는 지난 2025년 1월 ‘생성형 인공지능 의료기기 허가·심사 가이드라인’을 발표한 것에 이어서, 그 후속으로 LLM 기반 의료기기를 위한 가이드라인을 1년 반 만에 발표한 것입니다. (참고로 지난 ‘생성형 인공지능 의료기기 허가·심사 가이드라인’의 제정에는 저도 전문가 협의체의 일원으로 참여하였고, 이번에 참여하지 않았습니다.)
이번 가이드라인은 국제적으로 가장 앞서 나간 LLM 기반 의료기기 가이드라인이자 실무 문서라고 할 수 있습니다. 여러 국가의 규제 기관에서 생성형 인공지능, 더 좁혀서는 LLM 기반의 의료기기를 어떻게 규제할 것인지에 대한 고민을 하고 있지만, 허가·심사 가이드라인을 만들어서 구체적인 임상시험 설계 요구사항, 성능 검증 지표, 변경허가 판정표까지 발표한 곳은 한국이 유일합니다. 더구나 이번이 벌써 생성형 의료 인공지능과 관계된 두 번째 가이드라인인 것을 보면, 한국 식약처가 얼마나 디지털 헬스케어 및 의료 인공지능 분야의 규제를 전 세계적으로 선도하고 있는지를 알 수 있습니다.
- 관련 포스팅 살펴보기
여전히 의견 수렴 단계인 미국 FDA
참고로 미국 FDA는 생성형 의료 인공지능과 관련해서는 의견 수렴 단계이며, 가이드라인을 내어놓지는 못하고 있습니다. 미국은 2024년 말에 FDA가 생성형 인공지능 기반의 의료기기를 어떻게 규제할 것인지에 대한 고민을 본격적으로 시작했습니다. 2024년 11월 20-21일 양일에 걸쳐서 디지털 헬스케어 전문가 자문위원회 미팅을 공개적으로 진행하면서 이 논의를 본격적으로 시작하였고, 이에 앞서 이 자문위원회 미팅을 위해서 “Total Product Lifecycle Considerations for Generative AI-Enabled Devices” 라는 제목의 30페이지 짜리 Executive Summary를 공개하였습니다. (이 문서에 대한 설명은 제 블로그 포스팅에서 보실 수 있습니다)
하지만 지금까지도 FDA에서는 생성형 인공지능 의료기기만을 다루는 독립적인 가이드라인은 아직 발간되지 않았습니다. 2025년 1월 ‘AI-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations‘ 의 초안이 나왔고, 이 문서의 최종버전이 FY2026 가이던스 아젠다의 ‘B 리스트’에 올라 있습니다. FDA는 이 초안에 대해 “생성형 AI 같은 신기술이 제기하는 우려를 이 권고안이 충분히 다루는지”를 별도 공개 의견 요청 항목에 포함시켜두었는데, 이는 뒤집어 말하면 그 시점에 스스로 답을 갖고 있지 않았다는 뜻입니다. 이후 2025년 11월 6일 두 번째 디지털헬스자문위원회(DHAC)를 생성형 AI 정신건강 기기 주제로 개최했고, 그 자리에서도 논의 범위를 “범용 생성형 AI 도구가 아니라 정신건강 질환의 진단·치료 목적 GenAI 기기”로 한정했습니다. 이를 보면 여전히 FDA는 자문·의견수렴 단계라고 할 수 있습니다. 이를 보면 한국 식약처가 얼마나 빠른지 알 수 있습니다.
LLM 의료기기의 난제를 정면으로 돌파한 규제 가이드라인
더 나아가, 이번 가이드라인은 단순히 ‘미국 FDA 보다 더 일찍 나왔다’는 정도가 아니라 그동안 생성형 인공지능, 혹은 LLM 기반의 의료기기를 규제하기 위해서 이 분야의 전문가들이 지적하던 여러 난제들을 정면으로 돌파하고 있습니다.
이번 가이드라인은 크게 네 파트로 구성됩니다.
- 첫째, 어떤 LLM 기능이 디지털의료기기에 해당하는지를 정의하고, 구체적인 예시를 들었습니다.
- 둘째, 허가신청서에 LLM 특유의 항목을 어떻게 기재할지 다뤘습니다.
- 셋째, 임상적 유효성과 주요 기능 성능 검증의 방법을 제시하면서 LLM 특화 위해요인 7가지를 제시했습니다.
- 넷째, 모델 세대교체나 파인튜닝 같은 변경이 발생했을 때 변경허가 대상인지를 9가지 시나리오로 구분했습니다.
그동안 어느 규제 선진국도 ‘감히’ 건드리지 못했던 LLM 기반 의료기기를 허가심사하기 위한 여러 골칫덩어리 이슈들을 본격적으로 다루면서, 꽤나 합리적인 기준과 구체적인 예시까지도 제시합니다. 사실 지난 2025년 1월에 발표된 가이드라인은 선언적인 내용들이 많았습니다만, 이번 가이드라인은 매우 구체적인 기준을 명시하고 있습니다.
그런데 이렇게 전향적이고도 앞으로 의료 인공지능 산업에 큰 영향을 미칠 선도적인 규제 가이드라인이 아직까지 국내에서는 큰 주목을 받지 못하고 있는 것 같습니다. 사실 세부적인 내용을 보면, 이미 시장에서 상용화된 서비스들 중에서도 큰 영향을 받을 것들이 보입니다. 특히, 현재는 아무런 규제를 받지 않고 서비스가 되고 있지만, 이번 가이드라인에 따르면 의료기기로 분류되어 인허가를 받아야 할 것으로 보이는 서비스들도 있습니다. 더 나아가, 한국과 미국의 규제에 약간의 괴리가 생길 것으로 보이는 부분도 있습니다.
이번 가이드라인이라고 결코 완벽하지는 않습니다. 생성형 인공지능, 특히 LLM 기반의 의료기기는 현재 규제기관이 해결 하기 어려운 몇가지 근본적인 속성들을 가지고 있습니다. 이런 부분들은 이번 가이드라인에서도 여전히 숙제로 남아 있는데요. 이번 가이드라인의 내용을 정리해보고, 업계에 미칠 파급력과, 향후 남아 있는 숙제들에 대해서 정리해보도록 하겠습니다.
문제 인식: 기존 ML/DL 기반 디지털 의료기기와 LLM의 본질적 차이
이 가이드라인은 먼저 기존의 머신러닝 및 딥러닝 기반 디지털 의료기기와 LLM 기반의 의료기기에 어떤 근본적인 차이점이 있는지를 지적하면서 출발합니다. 일단 식약처에서 기술적으로 어느 정도 수준의 차이까지를 언급하는지를 살펴보기 위해서 이러한 부분에 나오는 서술이 중요합니다. 가이드라인에는 아래와 같이 언급됩니다.
기존의 기계학습 (Machine Learning) 혹은 딥러닝 (Deep Learning) 기반 디지털의료기기는 특정 사용목적 (예: 특정 질환의 검출 및 분류 등)에 대해 라벨링 된 (정답이 부여된) 데이터로 학습하며, 입력과 출력의 형태가 명확히 정의되고 학습이 완료된 이후에는 모델이 고정 (locked) 되는 것이 일반적이다. 반면 LLM은 대규모 비지도/자기 지도 (Unsupervised·Self-supervised)학습을 통해 파운데이션 모델을 구축하고, 해당 모델이 사전에 명시되지 않은 광범위한 기능을 수행할 수 있는 범용성을 가질 수 있다[5].
또한, LLM은 트랜스포머 (Transformer) 구조를 기반으로 별도의 재학습 없이 프롬프트만으로 새로운 기능을 학습 및 수행하는 맥락 내 학습(In-context Learning)과 모델 규모가 일정 수준을 넘어설 때 비선형적으로 나타나는 창발적 능력 (Emergent Abilities)을 보일 수도 있다[6-7]. 이러한
특성들은 입력에 대해 정해진 범주의 결과를 출력하던 기존 인공지능과 달리 동일한 입력에 대해서도 매번 다른 형태의 자연어 결과를 생성할 수 있다는 점에서 근본적인 차이를 갖는다.
이 차이에서 기존 AI 의료기기 심사에서 충분히 다뤄지지 않았던 새로운 위해요인이 도출된다고 봅니다. 본문에서 예로 든 것은 장기 대화로 인한 맥락 누락, 입력 맥락 오인식, 임상적으로 중요한 정보의 누락·왜곡이며, 여기에 더해 “광범위한 적용 가능성이 사용목적의 경계를 모호하게 만들어 허가된 범위를 벗어난 출력이 발생할 위험을 높인다”는 점을 별도로 강조합니다. 기술적으로 꽤나 깊이 있고도 구체적인 사항들을 고려하였음을 보여주고 있는 대목입니다.
규제 대상의 재정의: 외부 상용 모델은 관리 대상에 포함되지 않음
일단 이번 가이드라인에서 가장 중요한 부분 중의 하나는 적용 범위입니다. 본문에 이렇게 명시되어 있습니다: “외부 상용 모델은 직접적인 관리 대상에 포함되지 않음.” 즉, GPT나 Claude 같은 상용 LLM 자체는 규제하지 않고, 그것을 감싸는 의료용 어플리케이션 계층, 즉 프롬프트 구성, RAG, 출력 검증, UI를 규제하겠다는 선언입니다.
LLM 기반의 의료기기는 크게 두 가지로 구분할 수 있습니다:
- 제조사가 독자적으로 파운데이션 모델을 직접 개발하여, 이를 기반으로 개발한 어플리케이션
- 외부의 상용 파운데이션 모델을 API 연동하여 구성한 의료용 어플리케이션
이번 가이드라인에 따르면, 전자는 파운데이션 모델과 어플리케이션 모두를 규제하고, 후자의 경우는 어플리케이션만 규제하겠다는 것이 되겠습니다. 이는 사실상 불가피한 선택이라고 할 수 있습니다. 제조사의 입장에서는 외부모델 (예를 들어, GPT, Claude 등)은 컨트롤하기가 현실적으로 불가능합니다. 따라서 외부 모델을 API로 사용하는 것임에도, 이 모델까지 규제 대상으로 포함시키는 순간 제조사의 입장에서는 이런 요구사항 자체가 이행 불가해집니다.
그 대신, 식약처는 허가 신청서에 제조사가 고정한 제어 로직, 시스템 프롬프트 템플릿 버전, 추론 파라미터 고정값, 안전성 가드레일 버전, 그리고 사용 중인 상용 LLM의 날짜 스냅샷 버전을 기재하게 했습니다. 변경허가 판단도 상용 LLM의 변경 그 자체가 아니라, 그로 인해 어플리케이션에 결과적으로 발생한 변경을 기준으로 삼았습니다. 이것은 사실상 ‘LLM 의료기기의 안전성은 파운데이션 모델 자체의 안전성보다는 이를 포함한 전체 시스템에 얼마나 안전하게 설계되었는가’를 보겠다는 것으로 해석할 수 있습니다.
의료기기 해당 여부 기준: 변환이냐 생성이냐
그다음 중요한 것은 LLM 기반 의료기기 해당 여부의 기준입니다. 현재 디지털 의료기기의 해당 여부는 디지털 의료 제품법 및 시행규칙 (의 제외 대상)에서 정의되고 있고, 개인용 건강관리(웰니스) 제품 판단 기준, 모바일 의료용 앱 안전 관리 지침까지도 나와 있어서, 고려할 것이 상당히 복잡하고도 많다고 할 수 있습니다. 이번 가이드라인에서는 이러한 4가지 기준에 따라서 의료기기와 비의료기기의 구분에 대한 상세한 예시를, 서로 짝을 이뤄서 설명하고 있습니다.
의료기기에 해당되지 않는다고 제시된 사례들을 보면 공통점이 명확합니다. “사전에 정한 서식에 따라 원문 정보를 단순 재배열”한다던가, “사전에 정의한 항목에 대한 정보만 추출하여 문자로 표시”, “환자의 임상 표현형 텍스트를 LLM을 활용하여 표준 영어로 1:1 매핑”하는 것이 의료기기에 해당되지 않는다는 예시입니다. 즉, 입력되지 않은 정보를 새롭게 만들어내지 않는 경우입니다.
반면, 의료기기에 해당되는 것은 입력되지 않은 무엇인가를 ‘생성’하는 경우입니다. “치료 반응을 평가하여 제공” 하거나, “환자의 임상 질의 정보를 LLM으로 분석하여 진단 및 치료 권고안 및 상담 응답을 생성”하거나, “데이터를 LLM으로 분석하여 고혈압 진단 보조 결과를 문자로 생성”하면 의료기기로 분류됩니다.
특히, 주목할 것은 임상적인 분석이 들어가는지 여부를 의료기기 분류를 위한 중요한 판단 기준으로 명시하고 있다는 것입니다. 비 의료기기를 설명할 때 “임상적 분석을 완전히 배제하고”라는 명시적인 표현이 여러번 등장을 하고, 반대로 “Clinical Impression 초안 정보 생성”, “환자의 특정 질환 발병/예후를 분석 및 진단 코드로 제안”하는 것은 의료기기에 해당한다고 설명합니다.
‘독립적 검토 가능성’에 대한 FDA와 식약처의 차이
흥미롭고도 중요한 부분은 Clinical Impression 초안 생성을 의료기기로 분류하면서 식약처가 든 근거입니다. 바로, ‘임상적 소견/진단, 치료 옵션 도출은 LLM 특성상 의사가 그 근거를 독립적으로 검토하기 어려워 디지털 의료기기에 해당’한다는 것입니다. 이를 풀어서 해석하자면, 근거 문헌을 표시하든, 신뢰도를 병기하든, LLM이 확률적 토큰 생성으로 도출된 임상적 소견의 추론 경로는 의사가 사후에 재구성을 할 수 없기 때문에 의료기기로 분류하겠다는 것입니다. 이 부분은 별 것 아닌 것처럼 보일 수 있지만, 여러모로 중요한 함의를 지니며, 산업적인 파급력이 클 수 있습니다.
이는 일단 미국 FDA의 CDSS (Clinical Decision Support System)에 대한 가이드라인에 나오는 ‘독립적 검토 가능성’에 대한 부분을 떠올리게 합니다. 이번 식약처 가이드라인은 비슷한듯 하면서도 다릅니다. FDA는 2016년 21세기 치료법(21st Century Cures Act)이 FD&C Act를 개정하면서, 특정 CDSS 기능을 “의료기기(device)” 정의에서 제외할 수 있는 근거를 마련하였습니다. 즉, 아래 네 가지 기준을 모두 충족하는 CDS 소프트웨어는 FDA 의료기기 규제 대상에서 제외한다는 것이었는데요. 2026년 1월에는 이 가이던스가 조항의 해석을 더 명확히 하기 위해서 업데이트 되기도 했습니다.
- 기준 1: 특정 신호·이미지를 획득·처리·분석하지 않을 것
- 기준 2: 환자 또는 기타 의료정보를 표시·분석·출력하는 것을 목적으로 할 것
- 기준 3: HCP에게 질병 예방·진단·치료에 관한 권고를 지원하거나 제공하는 것을 목적으로 할 것
- 기준 4: HCP가 권고의 근거를 ‘독립적으로’ 검토할 수 있도록 하는 것을 목적으로 할 것
이 중 네 번째 기준이 ‘독립적 검토 가능성’에 대한 것인데요. 여기에서 FDA와 식약처의 판단이 갈립니다.
- FDA의 논리: CDSS의 권고의 근거를 충분히 제시하면 -> 의료 전문가의 독립적 검토가 가능하기 때문에 -> 비 의료기기로 분류할 수 있다
- 식약처의 논리: ‘LLM의 특성상’ 근거를 제시하더라도 -> 독립적인 검토가 근본적으로 어렵기 때문에 -> 의료기기로 분류한다
즉, 식약처는 ‘독립적 검토’가 어렵기 때문에 오히려 의료기기로 분류하겠다는 것입니다. 이는 FDA의 CDSS 가이던스보다 식약처가 더 엄격하게 판단한다고 볼 수 있습니다.
AI 음성 의무 기록 제조사에 직접적으로 미칠 영향
특히, “Clinical Impression 초안 정보 생성”, “환자의 특정 질환 발병/예후를 분석 및 진단 코드로 제안”, “치료 계획을 생성”하는 것은 의료기기에 해당한다는 판단은 산업적으로도 큰 파급 효과를 불러일으킬 것으로 예상됩니다. 왜냐하면 그동안 회색지대에 머물면서 서비스를 해오던 여러 서비스들이 의료기기로 분류될 가능성이 높아졌기 때문입니다.
가장 큰 영향을 받을 서비스들은 소위 ‘보이스 EMR’이라고 불리는 AI 기반의 음성 의무 기록 (ambient scribe)가 될 것 같습니다. 미국에서는 이미 여러 음성 의무 기록 서비스가 폭발적으로 의료 현장에 도입되고 있고, 한국에서도 많은 업체들이 생겨나고 있습니다. 특히, 지난 7월 22일 관계부처 합동으로 발표된 ‘AI 기본 의료 전략’에도 AI 음성 의무 기록이 여러 정책에 명시적으로 등장할만큼 한국에서도 향후 중요한 역할이 기대되고 있는데요.
문제는 이러한 AI 음성 의무 기록 서비스가 의사가 진료 중 말하는 내용을 실시간으로 요약하고, 분석하는 과정에서 임상적인 판단이 개입될 수 있다는 것입니다. 많은 음성 의무 기록 서비스들이 결과물로 SOAP를 내어놓게 되는데요. SOAP는 Subjective (주관적 정보, 즉 환자가 직접 말한 증상 및 병력), Objective (객관적 정보, 즉 진찰 소견 및 검사 결과), Assessment (의사의 판단 및 진단), Plan (검사, 치료 계획)의 약자로, 의사가 환자를 진료할 때 널리 사용되는 진료 기록의 기본 구조 입니다. 환자의 상태를 체계적으로 기록하고, 다른 의료진과 정보를 공유하기 위해서 사용되는데요.
여기서 문제가 되는 것은 A(Assessment)와 P(Plan)입니다.
- S(Subjective): 환자 발화의 재구성 -> 원문 재배열에 가까움
- O(Objective): 검사결과 전사 -> 형식 변환에 가까움
- A(Assessment): 임상적 평가 및 판단 -> 의무기록 상 “Clinical Impression”이 들어가는 자리
- P(Plan): 치료 계획 -> 가이드라인의 “치료 옵션 도출”
즉, 가이드라인에서 직접적으로 언급되었던 Clinical Impression과 치료 옵션 도출이 A와 P에 해당됩니다. 더 나아가서, 현재 일부 AI 음성 의무 기록 서비스의 경우, 진료기록을 분석해서 의사에게 진단 코드까지도 제안을 해주고 있는 상황입니다. 이러한 서비스들은 지금까지는 회색지대에서 용인되어 왔지만, 이번 식약처 가이드라인에 따르면 모두 디지털의료기기로 분류될 전망입니다. 관련 제조사들은 이 부분을 점검하시고, 필요한 경우는 인허가를 받을 준비를 하셔야 하겠습니다. (추가: 이 지점에 대해서, 식약처 출신의 규제 전문가이신 분당서울대병원 이충근 교수님께서 코멘트를 주셨습니다: 디지털의료제품법 시행규칙 제11조에서는 의료법 제23조에 따른 전자의무기록의 작성, 관리 및 보존은 인허가를 면제해주고 있어 제조사들은 개발한 LLM 기반 SW가 인허가대상이 맞는 지 확인하기 위해 식약처의 해석이 필요할 수 있습니다.)
사실 이 지점도 FDA와의 차이가 있습니다. 미국에서는 Abridge나 DAX와 같은 Ambient Scribe는 A와 P를 생성함에도 의료기기로 분류되고 있지 않습니다. 예를 들어, Abridge는 SOAP 형식 전체를 생성합니다. 시스템이 대화를 녹음하고 수 분 내에 Subjective, Objective, Assessment, Plan 형식의 완결된 의무기록을 생성하며, 출력은 EHR에 직접 입력되는 구조화된 SOAP 노트이고, 심장내과, 정형외과 등 전문과별 템플릿이 출력 구조를 조정하게 됩니다.
UC Irvine 연구진이 University of California Health에서 2023년 말부터 2025년 중반까지 외래 진료에서 Abridge를 포함한 두 개의 상용 ambient AI 시스템을 파일럿 테스트한 연구를 보면, 임상의가 Ambient Scribe를 통해 노트에 삽입하고 검토할 항목 중에 Assessment & Plan을 선택할 수 있습니다. 특히, 임상의들이 최종 서명하기 전에 Assessment & Plan 섹션을 특히 많이 편집했다는 결과도 언급되어 있습니다.
추가로 언급할만한 지점은, Abridge에는 Linked Evidence라는 기능이 있습니다. 생성된 노트의 각 줄을 그 내용이 논의된 대화의 특정 지점으로 연결하는 기능입니다. 임상의가 노트의 어느 부분이든 클릭해서 그 임상적 세부사항을 만들어낸 정확한 대화 구간을 듣거나 읽을 수 있습니다. 이는 FDA의 CDS 가이드라인의 4번 기준, 즉 ‘독립적 검토 가능성’을 겨냥한 설계로 보여지는데요.
그렇다면 한국 식약처의 가이드라인에서, ‘LLM의 특성상 의사가 그 근거를 독립적으로 검토하기 어렵다’는 기준을 이런 기능으로 해소할 수 있을까요? 엄밀히 말하면 대화의 특정 지점을 검색할 수 있는 것도, 입력의 출처이지, 추론 경로가 아니기 때문에 S, O 섹션에는 근거 추적이 가능하지만, A와 P에 대해서는 완전히 작동한다고 보기 어렵습니다.
이런 한국과 미국의 규제 차이는 미국의 Ambient Scribe 회사들이 한국으로 진입하거나 한국의 회사가 미국으로 진출할 때에도 영향을 줄 것으로 생각합니다. Assessment & Plan 을 생성하는 Ambient Scribe는 미국에서는 비의료기기로 서비스할 수 있지만, 한국에서는 의료기기로 분류되기 때문입니다. 한편, 식약처에서는 이러한 한국과 미국의 규제적인 괴리가 의도된 것인지에 대해서도 한번 고려해볼 필요가 있겠습니다.
퇴원 요약지 생성도 의료기기에 해당될까
이미 위에서 음성 의무기록 생성의 A, P에 대해서 상세히 설명했기 때문에, 이 부분은 간단하게 짚겠습니다. 현재 몇몇 병원에서는 퇴원 요약지 생성이나, 인계 리포트를 자동으로 생성하는 서비스를 개발하고 있거나, 사용 중입니다. 하지만 이번 식약처 가이드라인의 기준에서는 이런 ‘요약’ 기능도 좀 애매하게 보입니다. 요약은 결국 무엇을 남기고 무엇을 버릴지 선별하는 과정을 포함하는데, 여기에도 임상적인 판단이 들어갈 수밖에 없기 때문입니다.
이번 식약처 가이드라인의 ‘위해 요인 및 위험 통제 예시’ 파트에도 “임상적으로 중요한 정보의 누락”을 주요한 위해요인으로 꼽으면서, 예를 들어, “알레르기, 항응고제 복용, critical lab 결과처럼 “임상적으로 반드시 고려되어야 하는 정보”가 요약문이나 인계문에 누락”되는 상황을 명시적으로 언급했습니다. 이를 보면 ‘요약’하는 기능을 단순 형식 변환으로 보기는 어려워집니다. 이런 기능도 디지털의료기기로 분류가 되어야 하는 것일까요?
임상적 유효성 확인: 과감한 선택
임상적 유효성을 어떻게 확인할 것인지를 설명하는 부분에 식약처는 이례적이고도 과감한 선언을 합니다. 유효성 평가변수나 임상 성공 기준을 제시하지 않겠다는 것입니다. LLM은 하나의 모델이 사전에 명시되지 않은 광범위한 기능을 수행할 수 있는 범용적 특성을 가진다는 점을 지적하면서, 아래와 같이 서술합니다.
동일한 LLM 기반 디지털의료기기라 하더라도, 적용되는 임상적 사용 맥락과 구체적 사용목적 등에 따라 임상적 유효성의 의미와 평가 방법이 달라질 수 있다. 임상적 사용 맥락과 구체적 사용목적 등이 특정되지 않은 상태에서 획일적인 ‘유효성 평가변수’나 ‘임상성공 기준’을 가이드라인 차원에서 사전에 제시하는 것을 적절하지 않으며, 실질적 의미를 갖기 어렵다. 따라서, 본 가이드라인에서는 ‘유효성 평가변수’와 ‘임상성공 기준’을 일률적으로 규정하지 않는다.
규제 기관의 가이드라인에서 나오는 서술로는 상당히 과감한 (약간 감탄이 나오는) 서술입니다. 대신, 제조사가 사전에 정의해야 할 유효성 평가 변수와 임상 성공 기준 10가지를 제시합니다. 결과보다는 과정을 검토하겠다는 의미로 보여집니다.
이 부분에서 제가 흥미롭게 본 것은 유효성 평가 변수에 ‘의료적 의사결정에서 LLM 모델의 기여 정도 및 사용자 관여 수준’을 포함해야 한다는 것입니다. 즉, ‘LLM 단독 성능’인지, ‘LLM을 사용한 사용자의 성능’인지를 결정해야 한다는 것입니다. ‘정보 제공, 판단 보조, 혹은 자동화’ 중에 결정을 미리 하라는 것인데요.
제가 최근에 흥미롭게 보고 있는 ‘자율 의료 인공지능’ 주제에서는 AMA가 내어놓은 CPT Appendix S 를 많이 들여다보게 됩니다. 미국 의사협회에서 의료 인공지능을 구분하기 위해 CPT 코드를 Assistive (보조), Augmentative (증강), Autonomous (자율)의 세 단계로 구분을 해놓았는데요. 이와 비교하자면, 이번 식약처 가이드라인은 이미 인허가를 위한 임상시험 설계에서부터 요구사항으로 다루고 있다고 할 수 있겠습니다. 즉, 사후 분류 대상이 아니라, 사전 설계 변수로 다뤘기 때문에 규제적으로는 더 강력하다고 할 수 있습니다.
또한 ‘LLM 단독 성능’인지, ‘LLM을 사용한 사용자의 성능’인지를 구분하라는 것은, 주요 위해 요인으로 ‘사용자의 과신뢰’를 직접적으로 언급한 것과도 관련이 있어 보입니다.
주요 위해 요인: 자동화 편향으로 인한 사용자의 과신뢰
‘사용자의 과신뢰’는 주요 위해요인 및 위험 통제 예시 부분에 포함되어 있는데요. 여기에 나오는 예시들도 매우 구체적입니다.
- 정보 생성 오류: 환각 및 잘못된 정보 생성
- 임상적으로 중요한 정보의 누락 또는 왜곡
- 의료 정보 요약/인계 과정에서의 핵심 정보 누락
- 수치, 단위, 날짜 및 핵심 의학 용어 오류
- 입력 맥락 오인식
- 다의적 임상 약어 및 은어의 오인식
- Copy & Paste 차트의 시간적 맥락 혼선
- 사용자의 과신뢰: 과도한 신뢰 및 자동화 편향
- 데이터 편향
- 장기 대화로 인한 맥락 누락: 멀티턴 대화
- 출력 비결정성: 출력 재현성 (임상적 동등성)
앞서 언급한 ‘사용자의 과신뢰’, 혹은 자동화 편향 부분을 명시적이고 구체적으로 다룬 것이 인상적인데요. 자동화 편향을 단순한 사용자 부주의가 아니라, LLM의 근본적인 출력 특성에서 비롯되는 위해요인으로 규정했으며, 다른 위해요인들의 오류를 ‘증폭’시키는 2차 위해요인으로 규정하였습니다.
이에 따라서 LLM 출력을 ‘확정’이 아닌 ‘검토 대상’으로 제시하고, 근거/신뢰도/미근거 항목을 병기해서 비판적인 검토를 유도하도록 UI를 설계하라고 요구하고 있습니다. 또한, human-in-the-loop을 강제해서 고위험 출력에 대한 추가 확인도 요구하고 있으며, 제품을 병용할 때의 의사 결정 정확도도 검증해야 한다고 명시합니다.
또한 다의적 임상 약어 및 은어의 오인식과 같은 구체적인 사항도 담긴 것이 인상 적입니다. 의사들이 혼용하는 비표준어 약어나 은어를 LLM이 일반적 의미로 잘못 해석하는 것을 의미하는데, 예를 들어, “심부정맥 혈전증 환자의 경과 기록지에 ‘D/C Heparin (헤파린투여중단)’으로 기록 했으나, LLM은 D/C(discharge)를 ‘퇴원’으로 잘못 해석”하는 매우 구체적인 예시도 함께 담겨 있습니다.
또한 업계와 학계에서 LLM 기반 의료기기의 성능을 테스트하기 위해서 널리 쓰이는 LLM-as-a-judge에 대해서도 명확한 입장을 내었다는 점도 흥미로웠습니다. 시판 후 모니터링의 보조 수단으로는 인정하되, 인허가 시 단독 성능 검증 방식으로는 LLM 자체를 평가 수단으로 쓰는 것은 인정되지 않습니다. 이 역시 합리적으로 보입니다.
변경관리 예시집은 사실상 아키텍처 가이던스
LLM 기반 의료기기의 상용화 및 규제에 대한 최대의 실무적 난관은 바로 변경관리일 것 같습니다. 예를 들어, 의료기기가 기반을 둔 외부 제조사의 파운데이션 모델 (예를 들어 GPT)가 불특정한 간격으로 자주 변경된다면 이를 실무적으로 어떻게 관리할지가 매우 까다롭기 때문입니다.
미국의 FDA는 이 문제를 PCCP, 즉 변경 계획을 사전에 승인 받는 방식으로 풀었는데요. 이번에 식약처는 다른 길을 택했습니다. 외부 상용 FM의 세대 교체 (eg. GPT-4에서 GPT-5로의 세대교체), LLM에서 멀티모달로의 업데이트, 외부 상용 FM의 제공사 변경 (eg. OpenAI에서 Anthropic으로 변경), 자체 호스팅 전환, RAG DB 확장, 멀티 에이전트 전환, 시스템 프롬프트 재구성, 파라미터 조정, 파인튜닝, 클라우드 이전 등의 매우 구체적인 사항을 포함한 아홉 가지 시나리오 각각에 대해 중요한 변경과 경미한 변경의 판정 예시를 쌍으로 제시한 것입니다.
이렇게 ‘중요한 변경 인허가 대상’ 파트에 나오는 내용들은 사실상 LLM 기반의 의료기기를 설계할 때, 아키텍처 가이던스로 써도 좋을 정도로 구체적이고 포괄적인 내용을 담고 있습니다. 이 분야에 처음 입문하는 분들이 보면 ‘LLM 기반 의료기기’를 설계할 때에는 이러한 요인들을 고려해서, 아키텍쳐에 반영해야 한다는 것을 배울 수 있을 정도의 내용입니다. 사실상 규제의 부담을 낮출 수 있는 소프트웨어 아키텍처를 규제 문서가 세부적으로 알려주는 셈이라, LLM 기반 의료기기를 개발하는 팀들은 개발 초기 단계부터 이 가이드라인을 꼼꼼하게 읽고, 제품 설계에 세심하게 반영해야 하겠습니다.
한가지 주목할 점은, 경미한 변경으로 인정받는 세 부분 모두에 “핵심 임상 성능이 허가 범위 내임을 확인한 경우에 한함”이라는 단서가 붙어 있다는 것입니다. 예를 들어, 외부 상용 파운데이션 모델의 세대 교체, 파라미터 조정, 파인튜닝이 일어난 경우에도 ‘”핵심 임상 성능이 허가 범위 내’일 경우에는 경미한 변경으로 인정하겠다는 것인데요. 이는 내부적으로 성능의 동등성을 검증할 수 있는 체계를 갖춰야 한다는 의미이기도 합니다.
이런 부분은 FDA의 PCCP 보다, 이번 한국 가이드라인이 LLM 기반 의료기기의 규제에 더 적합하다고 보여집니다. PCCP는 제조사가 자사가 통제하는 모델을 자사의 계획에 따라서 재학습시키는 상황을 상정합니다. 그런데 LLM 기반 의료기기는 외부 파운데이션 모델에 의존하는 경우가 많고, 제조사의 계획이나 의도와는 무관하게, 혹은 제조사가 알지도 못한채 바뀌는 경우가 발생합니다. 이렇게 제조사와 무관한 변경을 관리하기 위해서는 현행 PCCP는 적합하지 않습니다. 식약처의 이번 가이드라인이 국제 규제를 선도하고 있다고 말씀드린 이유 중 하나이기도 합니다.
외부 상용 FM의 드리프트에 어떻게 대응할 것인가
한가지 짚고 넘어가야 할 부분은 외부 상용 모델의 성능 변동(드리프트)에 대해서 어떻게 대응할지에 대한 구체성이 다소 떨어진다는 것입니다. 이 부분은 사실상 답이 없는… 부분이기 때문에 현실적으로는 이 정도로 서술된 것이 충분히 이해가 되기는 합니다.
이번 문서에서는 외부 상용 LLM은 갱신 시점과 방식이 공개되지 않은 채 수시로 갱신되며, 명시적인 버전 변경 없이도 성능이 변하는 소위 ‘드리프트’가 발생하며, 제조사의 입장에서는 이를 인지하기 어렵다고 스스로 밝히고 있습니다. 여기에 LLM의 비결정적(non-deterministic) 출력 특성 때문에, 특정 시점에서 관찰된 출력의 차이가 실제 변경 때문인지, 모델 고유의 확률적 변동에서 비롯된 것인지 구분하기가 어렵다는 점까지도 언급합니다. (예전에 제가 FDA의 가이드라인을 보면서 ‘미국 규제기관은 기술의 근본적인 특성을 이렇게 깊게 이해하고 규제를 만드는구나. 그런 이해도가 규제 문서에도 드러나는 구나’ 하면서 감탄하고 부러워 했던적이 있는데, 이제 이런 식약처의 가이드라인을 읽으니 더 이상 FDA가 부럽지 않습니다!)
다만, 이러한 근본적인 문제에 대해서 어떻게 대응할 것인지에 대해서는 구체성이 떨어집니다. 시판후 성능 모니터링에 대한 의무, 재 검증 주기, 이상 감지 시의 대응 절차에 대한 부분에 대한 언급이 적습니다. 경미한 변경의 인정 조건인 “핵심 임상 성능이 허가 범위 내임을 확인”하는 부분에 대해서도 그 이상의 구체적인 요구 사항이 없습니다. (추가: 이 부분에 대해 이충근 교수님께서 다음과 같이 코멘트 주셨습니다, “가이드라인 개발주체가 식약처의 의료기기심사부이기 때문에 허가 및 변경에 중심이 맞추어져 있습니다. 위에 나열되어 있는 예시들은 여타 사후관리부서에서 담당하고 있기 때문에, 심사부가 작성할 수 있는 범위가 아닙니다. 그래서 FDA와 같이 전주기를 다루는 가이드라인을 만들기 어렵습니다.”)
사실 제조사의 입장에서는 (가이드라인에 적시되어 있는대로) 파운데이션 모델에 변경이 일어났는지 알기 어려운 경우가 많은데, 변경이 일어난 줄도 모르고 있으면 확인 자체를 할 이유도, 의무도 없게 됩니다. 그렇지만 실제로는 드리프트가 일어났을 경우에 환자에게 실제로 가해지는 위해가 있을 수 있기 때문에, 드리프트에 대한 시판 후 성능 모니터링에 대한 구체적인 요구나 의무 사항이 추후에는 추가되어야 할 것으로 생각합니다.
나가며: 새로운 규제 체계의 출발점
이번 가이드라인이 결코 LLM 기반 의료기기의 모든 문제에 답을 내어놓은 것은 아닙니다. 앞서 지적한 외부 상용 파운데이션 모델의 비가시적인 업데이트와 성능 드리프트를 어떻게 지속적으로 감시할 것인지, 시판 후 성능 저하가 확인되었을 때 어떻게 대응해야 할 것인지의 문제와 같은 것들이 남아 있습니다. (사실 이런 부분은 현 시점에서는 구체적인 기준을 제시하기 어렵기 때문에 이번에는 의도적으로 여지를 남겨둔 것이 아닌가 짐작되기도 합니다)
더 나아가서, 의료 인공지능 기술은 이미 LLM을 넘어 다음 단계로 나아가고 있습니다. 언어모델은 멀티모달이 되었고, 에이전트가 되어 외부의 도구를 호출하고, 그 에이전트는 ‘멀티’ 에이전트가 되어가고 있고 (제가 다른 글에서 열심히 다루고 있듯이) 이제는 단순히 의료진을 보조하는 것이 아니라, 의료진의 개입 없이 ‘자율적으로’ 의사 결정하고 독립적으로 의료 행위를 수행하도록 발전하고 있습니다. 이러한 폭발적인 기술의 발전이 향후 추가적으로 의료기기 허가심사 가이드라인에도 반영되어야 할 것입니다. 산 넘어 산이고, 골치아픈 어려운 문제들이 산적해 있습니다.
그럼에도 불구하고 이번 가이드라인이 가지는 의의는 정말로 크다고 생각합니다. 식약처는 LLM 기반 의료기기를 단순히 기존의 의료기기의 확장판으로 다루지 않고, 범용성, 비결정성, 맥락 의존성, 외부 모델 의존성이라는 근본적인 속성을 이해하고, 이를 정면으로 다루었기 때문입니다. 특히, 의료기기 해당여부, 임상적 유효성, 위험 관리, 변경 관리까지 실제 제품 개발과 허가 과정에서 부딪히는 많은 문제에 대해서 구체적인 판단 기준과 예시까지 제공했습니다. 이번에 완벽한 해답을 제시하지는 못했더라도, 적어도 우리가 무엇을 질문해야 하고, 어떤 위험을 통제하였는지 검증해야 하며, 제조사가 무엇을 준비해야 하는지는 분명하게 만들었습니다.
이는 그동안 FDA를 포함한 글로벌의 다른 규제기관 누구도 하지 못했던 일입니다. 그동안 전 세계적으로 ‘LLM 기반 의료기기에 기존 규제 프레임워크를 적용하기에는 근본적인 어려움이 있다’는 정도의 문제 의식만 있고, 의견 수렴은 하는 정도였지, 구체적인 규제 방안으로 들어가면 누구도 답을 내어놓지 못했던 상황이었습니다. 이제는 한국의 식약처가 과감하게 그 첫발을 내딛었으니, 새로운 논의의 장이 열린 셈입니다.
그래서 이번 가이드라인은 여러 논의의 종착점이나 결론이 아니라, 국제적으로 새로운 논의를 위한 출발점이 될 것 같습니다. 몇 년 전 국제 규제 기관들의 연합체인 IMDRF에서 식약처가 인공지능 부분에서 의장국을 맡았던 것에서도 알 수 있듯이, 국제 규제 기관 사이에서 의료 인공지능 분야에 대한 식약처의 위상은 매우 높습니다. 이제 이 가이드라인을 FDA를 포함한 여러 국제 규제 기관들에서 참고하면서, 또 새로운 규제적인 논의의 장이 열리지 않을까 합니다. 특히 CDS나 PCCP에 대해서는 오히려 식약처가 FDA가 과거에 만들어 두었던 규제 프레임워크와는 다른 (LLM의 특성에 맞는) 새로운 규제 프레임워크를 제안한 셈이기 때문에, 이를 FDA에서는 어떻게 반응할지도 궁금합니다.
좋은 규제는 합리적이고, 명확하며, 예측 가능하고, 일관적이어야 합니다. 또한 기술의 속성에 대한 근본적인 이해를 바탕으로하고 있어야 하고, 더 나아가서는 기술의 발전을 저해하지 않고, 혁신을 장려할 수 있어야 합니다. 이를 위해서는 무엇보다 적시성도 중요합니다. 기술의 발전 속도에 발맞춰 빠르게 진화해야 한다는 것입니다.
그런 의미에서 이번 가이드라인은 단순한 허가심사를 안내하는 수준을 넘어서, 생성형 인공지능 시대의 의료기기 규제가 앞으로 어떤 방향으로 진화해야 하는지를 처음으로 구체적인 방향을 보여준 선도적인 이정표라고 할 수 있겠습니다. 앞으로도 식약처가 이런 ‘좋은 규제’를 디지털 헬스케어 분야에서 지속적으로 내어놓을 수 있으면 좋겠습니다.
글쓴이
최윤섭
디지털 기술과 생명과학, 의학의 융합을 통해 사회적 가치를 창출하고 의료를 혁신하는 것을 화두로 삼고 있는 디지털 헬스케어 전문가, 미래의료학자, 작가, 벤처투자자입니다. 포항공과대학교(POSTECH)에서 컴퓨터공학과 생명과학을 복수전공하였으며, 전산생물학으로 이학박사 학위를 취득하였습니다. Stanford University 방문연구원, 서울대학교병원 연구조교수를 역임하였습니다. 현재 디지털 헬스케어 스타트업 전문 투자사 디지털 헬스케어 파트너스(DHP)의 대표 파트너이며, 연세대학교 의과대학 예방의학교실 외래조교수이기도 합니다. 『디지털 헬스케어: 의료의 미래』, 『의료 인공지능』, 『헬스케어 이노베이션』 등을 집필하였으며, Science의 제1저자를 비롯해서, 주요 국제 학술 저널에 다수의 논문을 개제하였습니다. npj Digital Medicine Editorial Board 멤버이자, 대한의료인공지능학회 설립 발기인 및 기획이사로 활동했습니다. 식약처 및 심평원의 자문위원이기도 합니다.
최윤섭의 디지털 헬스케어에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
