최근 워싱턴 포스트에는 ChatGPT와 같은 생성형 인공지능이 희귀 질환의 진단을 위해 활용 가치가 높을 것이라는 오피니언이 실렸습니다. 희귀 질환은 무려 10,000종이 넘게 존재하기 때문에, 심지어 의사들도 잘 알지 못하는 경우가 많습니다. 개별 희귀 질환에 대해서 진단할 수 있는 방법이 없는 것은 아니지만, 진료 시에 의사들이 ‘희귀 질환일 수도 있다’는 가능성을 떠올리지 못하는 경우도 많고, 유사한 증상을 유발하는 희귀 질병이 수백개 이상일 수 있기 때문에, 이 모든 질병에 대한 전문가가 있을 수도 없기 때문입니다. 이 때문에 환자들은 소위 ‘진단 방랑’에 올라서, 여러 의사와 병원을 전전하게 됩니다. 하지만 ChatGPT 등의 생성형 인공지능의 경우에는 환자의 증상이나 진료 기록을 바탕으로, 특정 희귀 질환의 가능성을 […]
최근 Nature Medicine에 실린, LLM이 헬스케어를 변화시키는 여섯가지 방식에 대한 짧은 리뷰 아티클입니다. 관련 연구 및 사업을 하는 여섯 명의 전문가의 의견을 짤막하게 정리하였습니다. 대부분 자신이 현재 하고 있는 연구 혹은 사업에 대한 설명과 향후 전망에 대해서 이야기하고 있습니다. 간략히 요약해보면, 1. Virtual Nurses: 미국에서 만성질환 환자에 비해서 간호사가 너무 부족하기 때문에 LLM이 이러한 간호사의 역할을 보조할 수 있다는 것입니다. 최근에 실리콘밸리의 의료 LLM 스타트업으로 Hippocratic AI라는 팀이 유명한데, 이런 virtual nurses를 개발하고 있지요. 이 CEO의 인터뷰입니다. LLM이 간호사의 여러 administrative 업무를 보조하고, 만성질환 환자에게 ‘목소리’로 환자들의 질문을 듣고, 답하고, 스케쥴 잡고, 복약 알람 주고, 치료 계획에 대해서 설명해주고 등등의
네이버 클라우드에서 디지털 헬스케어 Lab을 이끄시며, 의료 분야의 초거대 인공지능 연구를 하고 계시는 유한주 박사님의 인터뷰 영상입니다! ChatGPT 등 초거대 인공지능은 무엇인지, 초거대 인공지능을 의료에서 어떻게 활용할 수 있을지, LLM을 의료 분야 정확성을 어떻게 검증하고, 규제할 수 있을지, 그리고 미래에 ChatGPT가 의료 분야에서 어디까지 발전할지, 그리고 더 나아가 네이버 클라우드에서 개발하고 계시는 초거대 의료 인공지능에 대해서도 말씀을 나눠보았습니다. 무척 바쁘신 와중에도 시간 내어주신 유한주 박사님께 다시 한 번 감사의 말씀을 드립니다! 영상에 나오는, 네이버 클라우드에서 의료 인공지능 관련 인턴 지원에 관심이 있으신 분은 유한주 박사님께 이메일(haanju.yoo@navercorp.com)로 연락드리시면 됩니다. 1. 초거대 인공지능이란 무엇인가? 2. ChatGPT를 의료에 활용한다면? 3.
구글의 두번째 의료 LLM(Large Language Model)인 Med-PaLM2 에 대한 논문을 리뷰합니다. 지난번 리뷰했던 Med-PaLM 논문에 이은 후속 연구 입니다. Med-PaLM 논문은 arxiv에 작년 12월에 서브밋되었고 (Nature에는 7월에 출판), Med-PaLM2 논문은 arxiv에 지난 5월에 업로드 되었습니다. 이 논문은 아직 peer-reviewed journal 에는 출판되지 않았습니다. 결론적으로 Med-PaLM2는 이전 Med-PaLM에 비해서 더 강력한 퍼포먼스를 보여주며, 많은 경우에는 인간 의사와 비교할만하거나 더 좋은 성과를 보여줍니다. 전반적으로 이전 논문과 논조와 구조가 비슷하지만 (그래서 더 빠르게 읽을 수 있었습니다), 더 다양하고 정교한 evaluation framework 를 제시하고 있습니다. 평가 방법도 더 다양하고, 평가 기준도 더 다양해져서, 다각도로, 특히 실제 의료 현장에서 필요한/중요한 측면들에서 Med-PaLM2 성능의 강력함을 잘
최근 Nature에 실린 구글의 의료 특화 LLM(Large Language Model), Med-PaLM 에 대한 논문입니다. 네이쳐에는 최근에 나왔지만, arxiv 에는 작년 12월에 서브밋 되었던 논문이니, 꽤 늦게 읽은 셈입니다. (그리고 Med-PaLM2가 arxiv에는 이미 지난 5월에 업로드 되었습니다. 이 논문은 별도의 포스팅으로 다루기로 하고, 일단 Med-PaLM을 정리해 봅니다) 기존의 많은 인공지능은 single task 기반이고, 사람과의 interactive 한 능력은 떨어집니다. 하지만 LLM은 expressive & interactive model이므로, 의학 텍스트에 있는 의학 지식을 대규모로 배울 수 있고, 이를 의료의 다양한 응용 분야에서 활용해 볼 수 있습니다. 하지만 역시 의료는 안전성이 극히 중요하기 때문에 evaluation framework를 극히 세심하게 만들어서, 모델의 퍼포먼스를 평가하고, 잠재적 위험을 완화할 수 있는
ChatGPT나 PaLM 과 같은 LLM이, 더 나아가서는 Foundation Model 자체가 가장 활발하게 활용될 수 있는 분야 중의 하나가 의료입니다. 최근에 의료 분야의 ChatGPT의 활용 방안에 대한 논의가 계속되면서, 고민이 깊어지는 곳이 있습니다. 바로 FDA와 식약처와 같은 규제 기관입니다. LLM은 여러가지 의미에서 인류가 그동안 접해보지 못했던 유형의 인공지능입니다. 이는 FDA와 식약처 같은 규제 기관의 입장에서도 마찬가지입니다. 그동안 ‘의료기기’라는 것을 정의하고, 허가하고, 규제하기 위해서 각국의 규제 기관들은 여러 법체계를 정비해왔는데요. 인공지능에 대해서도 마찬가지였지요. (한국의 식약처는 FDA보다 더 선도적으로 이 규제를 정비해왔고, 때문에 IMDRF에서 의료 인공지능 분야 의장국이 되기도 하였습니다. 그 결과 식약처 주도로 개발한 인공지능 가이드라인이 국제 공통 가이드라인으로 IMDRF에서 공식 승인되기도
지난 4월에 JAMA Intern Med에 출판되었을 때 꽤 화제(?)가 되었던 논문인데 이제서야 리뷰해봅니다. 환자의 임상적인 질문에 대해서 ChatGPT와 의사의 답변을 비교하여, 누가 더 양질의 & 공감력 높은 답변을 해주는지를 살펴본 논문입니다. 비록 methodology 측면에서 여러 한계가 있지만, 많은 시사점을 주는 연구라고 할 수 있습니다. 환자의 질문은 미국판 디씨인사이드..라고 할 수 있는, 레딧의 환자가 물어보고 의사가 답하는 게시판 (Reddit’s r/AskDocs)을 활용하였습니다. 여기에 올라온 환자의 질문과 의사의 답변 195개를 무작위로 추출하여, ChatGPT (GPT-3.5)의 답변과 비교하였습니다. (ChatGPT에 물어볼 때는 질문마다 fresh session에서 진행.) 이러한 의사의 답변과 ChatGPT의 답변은 blind 처리하여 세명의 의사가 평가하였습니다. 일단은 두가지 답변 중에 어느 쪽이 더 나은가? 를 평가하였고,
최근 JAMA에는 ChatGPT의 어려운 진단 케이스에 대한 감별진단 성능을 평가한 논문이 소개되었습니다. ChatGPT의 의료적 성능을 테스트하기 위해서 USMLE (미국 의사 면허 시험) 문제를 풀게 하는 등의 시도들은 있었지만, 의사들도 진단을 내리기 어려워하는 케이스들로만 테스트해본 적은 드물었다고 합니다. 이 아티클에서는 NEJM의 clinicopathologic conferences 에 나오는 케이스들을 활용했습니다. 여기에는 교육을 목적으로 병리학적으로 최종 진단이 내려진 어려운 케이스들이 소개됩니다. 먼저, 2023년의 7개 케이스를 통해서 ChatGPT가 여러 가능성 있는 진단명을 확율에 따라 랭킹을 매겨서 결과를 내어놓도록 프롬프트를 만들었습니다 (아래 그림 참고). 그리고, 2021년 1월부터 2022년 12월까지의 70개의 케이스를 입력하여 ChatGPT로 감별진단을 진행해보았습니다. 케이스가 너무 길어서 ChatGPT에 입력이 안되거나, diagnostic dilemmas에 해당되지 않는 케이스들은 제외되었습니다.
OpenAI의 대화형 챗봇 인공지능 ChatGPT가 최근 몇주 동안 엄청난 화제를 불러일으키고 있습니다. ChatGPT는 채팅을 하듯이 사용자가 질문을 텍스트로 입력하면, 그에 대한 답을 텍스트로 알려주는 서비스입니다. 이전에도 이런 기술이 없었던 것은 아니지만, ChatGPT는 이전 챗봇의 성능을 훨씬 뛰어 넘습니다. 어려운 질문이나, 창의적인 질문에 대해서도 답을 내어 놓고, 심지어는 그럴듯한 논문도 ChatGPT로 쓸 수 있습니다. ChatGPT는 텍스트 기반의 챗봇 형식의 인공지능이기 때문에, 의학 분야에서는 어떻게 활용될 수 있을지 궁금했는데요. (사실 좀 찾아봐도 많이 안 나옵니다.) 최근 한 연구에 따르면 ChatGPT가 미국 의사 면허 시험(USMLE)을 무난히 통과할 정도의 실력(?)을 가진 것으로 드러났습니다. Ansible Health라는 실리콘밸리의 병원 연구자들이 진행한 연구인데요. 정식으로 출판되지는 않고 medRxiv에
최근 서울신문에 기고한 칼럼입니다. 글자수 제한 없이 집필했던 원문을 올려드립니다. 기술 혁신이 가속화될수록 규제의 중요성이 커진다. 특히 인간의 생명을 다루는 의료 및 헬스케어 분야의 기술에 대한 규제는 더욱 그러하다. 하지만 디지털 기술 혁신이 예측 불가능한 방향으로 폭발적으로 일어나면서, 이를 어떻게 합리적으로 규제할 것인지에 대한 고민도 깊어지고 있다. 이러한 상황에서 규제 과학의 중요성이 대두된다. 규제 과학은 규제 시스템 자체를 과학적으로 수립하는 방법론이다. 식약처 등 규제 기관은 이렇게 규제에 대한 과학적인 접근을 더욱 강화해야 한다. 또한 이를 위해 규제기관에 대한 지원도 필요하다. 규제는 근본적으로 기술의 발전에 후행할 수밖에 없다. 4차 산업혁명으로 대표되는 디지털 혁신이 폭발적으로 일어남에 따라 디지털 의료와 관련된 규제의 간극은
제가 최근 전자신문에 기고한 칼럼입니다. 분량 제한 없이 썼던 원문을 올려드립니다. 디지털 헬스케어 분야에서 새 정부에 바라는 것은 단 한 가지밖에 없다. 바로 수가이다. 디지털 헬스케어에 특화된, 특히 소프트웨어 의료기기에 특화된 새로운 수가 기준이 필요하다. 이것 없이는 4차산업혁명의 핵심 분야인 디지털 헬스케어에 대한 진흥책은 모두 미봉책일 뿐이다. 지난 수년 동안 업계에서는 이를 수없이 요구해왔지만, 실질적인 진전은 없었다. 새 정부가 보험 수가라는 업계의 오랜 숙원 하나만 해결하더라도, 디지털 헬스케어 분야에서는 전례 없이 성공적인 정부로 역사에 남을 것이다. 디지털 헬스케어 분야에는 ‘기승전수가’라는 관용구가 있다. 한국과 같은 단일 의료 보험의 국가에서는 새로운 의료기술을 개발하여 사업화하는 경우, 별도 급여가 책정되지 않으면 시장 진입
의료 인공지능 스타트업 루닛이 이번에 엄청 좋은 논문을 JCO(Journal of Clinical Oncology)에 내셔서 휘리릭 읽고 요약해봅니다. 루닛의 병리 인공지능 Lunit SCOPE를 이용해서, NSCLC 환자에서 면역항암제(ICI)의 반응성을 예측할 수 있으며, 기존의 바이오 마커인 PD-L1의 한계를 보완할 수 있다는 가능성을 보여주는 연구입니다. 참고로, JCO는 임상 종양 분야의 최고 권위지로 IF가 무려 44점입니다. (이번 연구가 retrosepctive이고 환자수에 약간 제한이 있는데도 JCO에 나온 걸 보면, 이런 부분이 보완된 연구는 NEJM 급일 것 같네요.) 키트루다로 대표되는 면역항암제는 여러 암종에서 기존 항암제 대비 우월한 효과를 보여주었습니다. 다만, 이 약이 (너무 고가임에도 불구하고) 환자에게 정말 효과가 있을지 예측하기가 어렵다는 것이 단점이었습니다. 현재 인정되는 유일한 바이오마커는 PD-L1 인데,
이슈 (2) 인공지능과 디지털 치료제 관련 수가 수가 이야기가 나온 김에 이어서 바로 해보겠습니다. 디지털 헬스케어 산업 이야기를 하면서 수가를 빼놓을 수는 없겠지요. 업계의 관용 표현대로 ‘기승전수가’ 이기 때문입니다. 의료 및 헬스케어와 관련한 새로운 기술을 개발하여 사업화할 경우, 한국과 같은 단일 의료 보험의 국가에서는 별도 급여가 책정되지 않으면 수익화를 할 수 있는 방법이 극히 제한됩니다. 하지만 역시 이러한 단일 의료 보험 국가에서는 ‘국민의 혈세’를 쓰기 때문에, 급여 기준을 매우 보수적으로 잡을 수밖에 없습니다. 현재 업계에서 가장 크게 관심을 가지는 수가는 역시 인공지능과 디지털 치료제에 대한 것입니다. 인공지능의 경우에는 영상의학과 및 병리과 인공지능에 대해서 심평원의 요양급여 여부 평가 가이드라인을 각각 2019년
짤막하지만 꽤 상징적인 소식을 하나 공유합니다. 현재 영국에서 개최되고 있는 G7 행사에서 보건장관의 공동 성명으로 4대 주요 전략 실천 분야(strategic actions)가 선정되었는데요. 그 중의 하나가 바로 디지털 헬스케어 입니다. (ref) 함께 선정된 다른 주제들을 보면 디지털 헬스케어의 중요성에 대한 위상이 얼마나 올라갔는지를 짐작해볼 수 있습니다. global health security antimicrobial resistance clinical trials digital health 이 공동성명의 34번부터, 40번까지가 디지털 헬스케어에 대한 내용으로 성명서의 상당한 부분이 할애되고 있습니다. COVID-19 판데믹과 관련된 언급도 많습니다만, 디지털 헬스케어의 중요성이 여기에 국한되고 있지는 않다고 언급하고 있습니다. 디지털 헬스케어를 통한 혜택을 극대화하기 위해서, 규제, 프라이버시 등 제도적인 보완과 함께 지역/국가간의 협력을 강화해야 한다고 강조합니다. 특히 데이터의
의료 인공지능 회사인 뷰노에서 최근 출간한 딥러닝 기반 흉부 엑스레이 영상 인공지능의 효용을 증명한 논문을 소개해드립니다. 이 논문은 영상의학 분야 최고 권위 학술지 Radiology 에 최근 출판되었습니다. 몇몇 언론 기사로도 보도되었습니다만, 저도 꼼꼼하게 읽어보고, 기억나는 것들을 정리해둡니다. (저는 뷰노의 자문이자 주주로 COI가 있습니다.) 이 논문을 통해 뷰노의 인공지능을 활용하면, 인공지능을 활용하지 않았을 때에 비해서 흉부 엑스레이 영상의 판독 성과가 유의미하게 좋아진다는 것을 증명했습니다. 결론만 본다면 예전의 연구들과 다를 게 없이 보일 수도 있겠지만, 세부적인 연구 디자인과 결과에서 주목해야 합니다. 이런 엄정한 디자인에 기반한 임상 연구가 거듭되어야 폭넓은 임상 현장 적용에 더 가까이 다가설 수 있습니다. Radiology라는 좋은 저널에 실릴 수
많이 늦었지만, Apple Heart Study 에 대한 논문을 이제라도 간략히 리뷰합니다. 스탠퍼드 대학은 애플의 후원을 받아, 애플워치의 부정맥 탐지 기능에 대한 임상 연구를 수행하였고, 이 연구의 결과는 무려 NEJM에 2019년 11월 실렸습니다. NEJM은 전세계 의학 저널 중에 (사실 모든 분야의 학술 저널 중에) 가장 임팩트 펙터가 높은 초특급 권위지입니다. 이 논문이 나온지 시간이 꽤 많이 흘렀지만, 제가 뒤늦게 읽었습니다. 이 논문은 생각보다 어렵고, 주요 메시지를 파악하는데 시간이 걸렸습니다. 논문 자체가 어렵다기보다는, 무엇보다 임상 연구의 디자인이 다소 복잡하고 특이합니다. 전통적인 세팅 내에서의 RCT를 한 것이 아니라, 소위 pragmatic trial 로, remote, site, decentralized, patient-reported outcome 등을 기반으로 한 아주 특이한 스터디라고