AI

구글의 두번째 의료 특화 LLM, Med-PaLM 2 - 최윤섭의 디지털 헬스케어

구글의 두번째 의료 특화 LLM, Med-PaLM 2

/

구글의 두번째 의료 LLM(Large Language Model)인 Med-PaLM2 에 대한 논문을 리뷰합니다. 지난번 리뷰했던 Med-PaLM 논문에 이은 후속 연구 입니다. Med-PaLM 논문은 arxiv에 작년 12월에 서브밋되었고 (Nature에는 7월에 출판), Med-PaLM2 논문은 arxiv에 지난 5월에 업로드 되었습니다. 이 논문은 아직 peer-reviewed journal 에는 출판되지 않았습니다. 결론적으로 Med-PaLM2는 이전 Med-PaLM에 비해서 더 강력한 퍼포먼스를 보여주며, 많은 경우에는 인간 의사와 비교할만하거나 더 좋은 성과를 보여줍니다. 전반적으로 이전 논문과 논조와 구조가 비슷하지만 (그래서 더 빠르게 읽을 수 있었습니다), 더 다양하고 정교한 evaluation framework 를 제시하고 있습니다. 평가 방법도 더 다양하고, 평가 기준도 더 다양해져서, 다각도로, 특히 실제 의료 현장에서 필요한/중요한 측면들에서 Med-PaLM2 성능의 강력함을 잘 […]

구글의 의료 특화 LLM, Med-PaLM - 최윤섭의 디지털 헬스케어

구글의 의료 특화 LLM, Med-PaLM

/

최근 Nature에 실린 구글의 의료 특화 LLM(Large Language Model), Med-PaLM 에 대한 논문입니다. 네이쳐에는 최근에 나왔지만, arxiv 에는 작년 12월에 서브밋 되었던 논문이니, 꽤 늦게 읽은 셈입니다. (그리고 Med-PaLM2가 arxiv에는 이미 지난 5월에 업로드 되었습니다. 이 논문은 별도의 포스팅으로 다루기로 하고, 일단 Med-PaLM을 정리해 봅니다) 기존의 많은 인공지능은 single task 기반이고, 사람과의 interactive 한 능력은 떨어집니다. 하지만 LLM은 expressive & interactive model이므로, 의학 텍스트에 있는 의학 지식을 대규모로 배울 수 있고, 이를 의료의 다양한 응용 분야에서 활용해 볼 수 있습니다. 하지만 역시 의료는 안전성이 극히 중요하기 때문에 evaluation framework를 극히 세심하게 만들어서, 모델의 퍼포먼스를 평가하고, 잠재적 위험을 완화할 수 있는

ChatGPT를 의료기기로 규제할 수도, 안 할 수도 없다? - 최윤섭의 디지털 헬스케어

ChatGPT를 의료기기로 규제할 수도, 안 할 수도 없다?

/

ChatGPT나 PaLM 과 같은 LLM이, 더 나아가서는 Foundation Model 자체가 가장 활발하게 활용될 수 있는 분야 중의 하나가 의료입니다. 최근에 의료 분야의 ChatGPT의 활용 방안에 대한 논의가 계속되면서, 고민이 깊어지는 곳이 있습니다. 바로 FDA와 식약처와 같은 규제 기관입니다. LLM은 여러가지 의미에서 인류가 그동안 접해보지 못했던 유형의 인공지능입니다. 이는 FDA와 식약처 같은 규제 기관의 입장에서도 마찬가지입니다. 그동안 ‘의료기기’라는 것을 정의하고, 허가하고, 규제하기 위해서 각국의 규제 기관들은 여러 법체계를 정비해왔는데요. 인공지능에 대해서도 마찬가지였지요. (한국의 식약처는 FDA보다 더 선도적으로 이 규제를 정비해왔고, 때문에 IMDRF에서 의료 인공지능 분야 의장국이 되기도 하였습니다. 그 결과 식약처 주도로 개발한 인공지능 가이드라인이 국제 공통 가이드라인으로 IMDRF에서 공식 승인되기도

ChatGPT vs. 의사 : 누가 환자의 질문에 대답을 잘할까 - 최윤섭의 디지털 헬스케어

[논문] ChatGPT vs. 의사 : 누가 환자의 질문에 대답을 잘할까

/

지난 4월에 JAMA Intern Med에 출판되었을 때 꽤 화제(?)가 되었던 논문인데 이제서야 리뷰해봅니다. 환자의 임상적인 질문에 대해서 ChatGPT와 의사의 답변을 비교하여, 누가 더 양질의 & 공감력 높은 답변을 해주는지를 살펴본 논문입니다. 비록 methodology 측면에서 여러 한계가 있지만, 많은 시사점을 주는 연구라고 할 수 있습니다. 환자의 질문은 미국판 디씨인사이드..라고 할 수 있는, 레딧의 환자가 물어보고 의사가 답하는 게시판 (Reddit’s r/AskDocs)을 활용하였습니다. 여기에 올라온 환자의 질문과 의사의 답변 195개를 무작위로 추출하여, ChatGPT (GPT-3.5)의 답변과 비교하였습니다. (ChatGPT에 물어볼 때는 질문마다 fresh session에서 진행.) 이러한 의사의 답변과 ChatGPT의 답변은 blind 처리하여 세명의 의사가 평가하였습니다. 일단은 두가지 답변 중에 어느 쪽이 더 나은가? 를 평가하였고,

ChatGPT는 어려운 질병 케이스를 얼마나 잘 진단할까 - 최윤섭의 디지털 헬스케어

[논문] ChatGPT는 어려운 질병 케이스를 얼마나 잘 진단할까

/

최근 JAMA에는 ChatGPT의 어려운 진단 케이스에 대한 감별진단 성능을 평가한 논문이 소개되었습니다. ChatGPT의 의료적 성능을 테스트하기 위해서 USMLE (미국 의사 면허 시험) 문제를 풀게 하는 등의 시도들은 있었지만, 의사들도 진단을 내리기 어려워하는 케이스들로만 테스트해본 적은 드물었다고 합니다. 이 아티클에서는 NEJM의 clinicopathologic conferences 에 나오는 케이스들을 활용했습니다. 여기에는 교육을 목적으로 병리학적으로 최종 진단이 내려진 어려운 케이스들이 소개됩니다. 먼저, 2023년의 7개 케이스를 통해서 ChatGPT가 여러 가능성 있는 진단명을 확율에 따라 랭킹을 매겨서 결과를 내어놓도록 프롬프트를 만들었습니다 (아래 그림 참고). 그리고, 2021년 1월부터 2022년 12월까지의 70개의 케이스를 입력하여 ChatGPT로 감별진단을 진행해보았습니다. 케이스가 너무 길어서 ChatGPT에 입력이 안되거나, diagnostic dilemmas에 해당되지 않는 케이스들은 제외되었습니다.

ChatGPT, 미국 의사 면허 시험(USMLE)을 통과할 수 있다! - 최윤섭의 디지털 헬스케어

ChatGPT, 미국 의사 면허 시험(USMLE)을 통과할 수 있다!

/

OpenAI의 대화형 챗봇 인공지능 ChatGPT가 최근 몇주 동안 엄청난 화제를 불러일으키고 있습니다. ChatGPT는 채팅을 하듯이 사용자가 질문을 텍스트로 입력하면, 그에 대한 답을 텍스트로 알려주는 서비스입니다. 이전에도 이런 기술이 없었던 것은 아니지만, ChatGPT는 이전 챗봇의 성능을 훨씬 뛰어 넘습니다. 어려운 질문이나, 창의적인 질문에 대해서도 답을 내어 놓고, 심지어는 그럴듯한 논문도 ChatGPT로 쓸 수 있습니다. ChatGPT는 텍스트 기반의 챗봇 형식의 인공지능이기 때문에, 의학 분야에서는 어떻게 활용될 수 있을지 궁금했는데요. (사실 좀 찾아봐도 많이 안 나옵니다.) 최근 한 연구에 따르면 ChatGPT가 미국 의사 면허 시험(USMLE)을 무난히 통과할 정도의 실력(?)을 가진 것으로 드러났습니다. Ansible Health라는 실리콘밸리의 병원 연구자들이 진행한 연구인데요. 정식으로 출판되지는 않고 medRxiv에

디지털 의료 혁신과 규제 과학 - 최윤섭의 디지털 헬스케어

[칼럼] 디지털 의료 혁신과 규제 과학

/

최근 서울신문에 기고한 칼럼입니다. 글자수 제한 없이 집필했던 원문을 올려드립니다.  기술 혁신이 가속화될수록 규제의 중요성이 커진다. 특히 인간의 생명을 다루는 의료 및 헬스케어 분야의 기술에 대한 규제는 더욱 그러하다. 하지만 디지털 기술 혁신이 예측 불가능한 방향으로 폭발적으로 일어나면서, 이를 어떻게 합리적으로 규제할 것인지에 대한 고민도 깊어지고 있다. 이러한 상황에서 규제 과학의 중요성이 대두된다. 규제 과학은 규제 시스템 자체를 과학적으로 수립하는 방법론이다. 식약처 등 규제 기관은 이렇게 규제에 대한 과학적인 접근을 더욱 강화해야 한다. 또한 이를 위해 규제기관에 대한 지원도 필요하다. 규제는 근본적으로 기술의 발전에 후행할 수밖에 없다. 4차 산업혁명으로 대표되는 디지털 혁신이 폭발적으로 일어남에 따라 디지털 의료와 관련된 규제의 간극은

디지털 헬스케어 수가를 새 정부에 바란다 - 최윤섭의 디지털 헬스케어

[칼럼] 디지털 헬스케어 수가를 새 정부에 바란다

/

제가 최근 전자신문에 기고한 칼럼입니다. 분량 제한 없이 썼던 원문을 올려드립니다.    디지털 헬스케어 분야에서 새 정부에 바라는 것은 단 한 가지밖에 없다. 바로 수가이다. 디지털 헬스케어에 특화된, 특히 소프트웨어 의료기기에 특화된 새로운 수가 기준이 필요하다. 이것 없이는 4차산업혁명의 핵심 분야인 디지털 헬스케어에 대한 진흥책은 모두 미봉책일 뿐이다. 지난 수년 동안 업계에서는 이를 수없이 요구해왔지만, 실질적인 진전은 없었다. 새 정부가 보험 수가라는 업계의 오랜 숙원 하나만 해결하더라도, 디지털 헬스케어 분야에서는 전례 없이 성공적인 정부로 역사에 남을 것이다. 디지털 헬스케어 분야에는 ‘기승전수가’라는 관용구가 있다. 한국과 같은 단일 의료 보험의 국가에서는 새로운 의료기술을 개발하여 사업화하는 경우, 별도 급여가 책정되지 않으면 시장 진입

루닛, 인공지능으로 면역항암제의 반응성 예측을 통한 동반진단의 가능성 입증 - 최윤섭의 디지털 헬스케어

[논문] 루닛, 인공지능으로 면역항암제의 반응성 예측을 통한 동반진단의 가능성 입증

/

의료 인공지능 스타트업 루닛이 이번에 엄청 좋은 논문을 JCO(Journal of Clinical Oncology)에 내셔서 휘리릭 읽고 요약해봅니다. 루닛의 병리 인공지능 Lunit SCOPE를 이용해서, NSCLC 환자에서 면역항암제(ICI)의 반응성을 예측할 수 있으며, 기존의 바이오 마커인 PD-L1의 한계를 보완할 수 있다는 가능성을 보여주는 연구입니다. 참고로, JCO는 임상 종양 분야의 최고 권위지로 IF가 무려 44점입니다. (이번 연구가 retrosepctive이고 환자수에 약간 제한이 있는데도 JCO에 나온 걸 보면, 이런 부분이 보완된 연구는 NEJM 급일 것 같네요.) 키트루다로 대표되는 면역항암제는 여러 암종에서 기존 항암제 대비 우월한 효과를 보여주었습니다. 다만, 이 약이 (너무 고가임에도 불구하고) 환자에게 정말 효과가 있을지 예측하기가 어렵다는 것이 단점이었습니다. 현재 인정되는 유일한 바이오마커는 PD-L1 인데,

2022년 주목할 디지털 헬스케어 이슈 (2) 의료 인공지능과 디지털 치료제 수가 - 최윤섭의 디지털 헬스케어

2022년 주목할 디지털 헬스케어 이슈 (2) 의료 인공지능과 디지털 치료제 수가

/

이슈 (2) 인공지능과 디지털 치료제 관련 수가 수가 이야기가 나온 김에 이어서 바로 해보겠습니다. 디지털 헬스케어 산업 이야기를 하면서 수가를 빼놓을 수는 없겠지요. 업계의 관용 표현대로 ‘기승전수가’ 이기 때문입니다. 의료 및 헬스케어와 관련한 새로운 기술을 개발하여 사업화할 경우, 한국과 같은 단일 의료 보험의 국가에서는 별도 급여가 책정되지 않으면 수익화를 할 수 있는 방법이 극히 제한됩니다. 하지만 역시 이러한 단일 의료 보험 국가에서는 ‘국민의 혈세’를 쓰기 때문에, 급여 기준을 매우 보수적으로 잡을 수밖에 없습니다. 현재 업계에서 가장 크게 관심을 가지는 수가는 역시 인공지능과 디지털 치료제에 대한 것입니다. 인공지능의 경우에는 영상의학과 및 병리과 인공지능에 대해서 심평원의 요양급여 여부 평가 가이드라인을 각각 2019년

디지털 헬스가 G7의 주요 전략 실천 분야로 선정되었습니다! - 최윤섭의 디지털 헬스케어

디지털 헬스가 G7의 주요 전략 실천 분야로 선정되었습니다!

/

짤막하지만 꽤 상징적인 소식을 하나 공유합니다. 현재 영국에서 개최되고 있는 G7 행사에서 보건장관의 공동 성명으로 4대 주요 전략 실천 분야(strategic actions)가 선정되었는데요. 그 중의 하나가 바로 디지털 헬스케어 입니다. (ref) 함께 선정된 다른 주제들을 보면 디지털 헬스케어의 중요성에 대한 위상이 얼마나 올라갔는지를 짐작해볼 수 있습니다. global health security antimicrobial resistance clinical trials digital health 이 공동성명의 34번부터, 40번까지가 디지털 헬스케어에 대한 내용으로 성명서의 상당한 부분이 할애되고 있습니다. COVID-19 판데믹과 관련된 언급도 많습니다만, 디지털 헬스케어의 중요성이 여기에 국한되고 있지는 않다고 언급하고 있습니다. 디지털 헬스케어를 통한 혜택을 극대화하기 위해서, 규제, 프라이버시 등 제도적인 보완과 함께 지역/국가간의 협력을 강화해야 한다고 강조합니다. 특히 데이터의

뷰노의 흉부 엑스레이 영상 판독 인공지능의 효용 - 최윤섭의 디지털 헬스케어

[논문] 뷰노의 흉부 엑스레이 영상 판독 인공지능의 효용

/

의료 인공지능 회사인 뷰노에서 최근 출간한 딥러닝 기반 흉부 엑스레이 영상 인공지능의 효용을 증명한 논문을 소개해드립니다. 이 논문은 영상의학 분야 최고 권위 학술지 Radiology 에 최근 출판되었습니다. 몇몇 언론 기사로도 보도되었습니다만, 저도 꼼꼼하게 읽어보고, 기억나는 것들을 정리해둡니다. (저는 뷰노의 자문이자 주주로 COI가 있습니다.) 이 논문을 통해 뷰노의 인공지능을 활용하면, 인공지능을 활용하지 않았을 때에 비해서 흉부 엑스레이 영상의 판독 성과가 유의미하게 좋아진다는 것을 증명했습니다. 결론만 본다면 예전의 연구들과 다를 게 없이 보일 수도 있겠지만, 세부적인 연구 디자인과 결과에서 주목해야 합니다. 이런 엄정한 디자인에 기반한 임상 연구가 거듭되어야 폭넓은 임상 현장 적용에 더 가까이 다가설 수 있습니다. Radiology라는 좋은 저널에 실릴 수

Apple Heart Study: 애플워치의 부정맥 측정 기능의 정확성에 관한 연구 - 최윤섭의 디지털 헬스케어

[논문] Apple Heart Study: 애플워치의 부정맥 측정 기능의 정확성에 관한 연구

/

많이 늦었지만, Apple Heart Study 에 대한 논문을 이제라도 간략히 리뷰합니다. 스탠퍼드 대학은 애플의 후원을 받아, 애플워치의 부정맥 탐지 기능에 대한 임상 연구를 수행하였고, 이 연구의 결과는 무려 NEJM에 2019년 11월 실렸습니다. NEJM은 전세계 의학 저널 중에 (사실 모든 분야의 학술 저널 중에) 가장 임팩트 펙터가 높은 초특급 권위지입니다. 이 논문이 나온지 시간이 꽤 많이 흘렀지만, 제가 뒤늦게 읽었습니다. 이 논문은 생각보다 어렵고, 주요 메시지를 파악하는데 시간이 걸렸습니다. 논문 자체가 어렵다기보다는, 무엇보다 임상 연구의 디자인이 다소 복잡하고 특이합니다. 전통적인 세팅 내에서의 RCT를 한 것이 아니라, 소위 pragmatic trial 로, remote, site, decentralized, patient-reported outcome 등을 기반으로 한 아주 특이한 스터디라고

코로나 앱으로 세계의 주목을 받은 의사 프로그래머, 허준녕 대위님 - 최윤섭의 디지털 헬스케어

[인터뷰] 코로나 앱으로 세계의 주목을 받은 의사 프로그래머, 허준녕 대위님

/

이번 ‘디지털 헬스케어 인터뷰’에서는 코로나 판데믹이 시작되던 직후, 코로나 환자 선별 및 중증도를 예측하는 앱을 개발하여 국내외의 큰 주목을 받은 국군의무사령부의 허준녕 대위님을 인터뷰 했습니다. 신경과전문의이신 허준녕 대위님은 학창시절부터 프로그래밍을 좋아하셔서, 독학으로 의료 인공지능 관련 논문을 출판하기도 하셨고, 이번 코로나 앱을 개발하여 여러 다른 전문과들과 함께, 비영리 프로젝트인 닥클 (DOCL, Doctors on the Clould)을 이끌어 오셨습니다. 닥클 프로젝트는 코로나 판데믹에서 발빠르게 코로나 앱을 개발하고, 질병관리청과 협업하면서 관련 연구를 진행하여, 현장에서 활용하고 논문을 출판하기도 하였습니다. 이런 경험을 바탕으로 닥클 프로젝트는 코로나 판데믹 이후에도, 신종 감염병 신속 대응 플랫폼으로 발돋움하기 위해서 노력하고 있습니다. 저는 닥클을 어떻게든 많이 도와드리고 싶은데요. 매우 중요하고도 의미

소프트웨어 의료기기에 맞는 새로운 수가 체계가 필요하다 - 최윤섭의 디지털 헬스케어

[칼럼] 소프트웨어 의료기기에 맞는 새로운 수가 체계가 필요하다

/

*이번 달 한국경제신문에 기고한 칼럼입니다. 분량제한으로 다 기고하지 못한 원문을 올려드립니다.  디지털 헬스케어 기술의 혁신으로 나타나는 가장 큰 변화 중 하나는 의료기기 범주의 확장이다. 기존 의료기기는 주로 하드웨어였다. 체온계, 혈압계, 혹은 엑스레이 촬영기기 등이 그러하다. 하지만 의료기기는 소프트웨어의 영역으로 확장되고 있다. 흉부 엑스선 영상을 판독해서 결절을 찾아주거나, 병리 영상을 분석하여 암을 진단하는 인공지능이나, 앱이나 게임으로 환자를 치료하는 디지털 치료제가 이러한 소프트웨어 의료기기의 대표적인 유형이다. 식약처는 지금까지 60개 정도의 인공지능 기반의 의료기기를 인허가했으며, 올들어 FDA는 불면증 치료용 앱이나, ADHD 치료용 게임을 연달아 인허가 하기도 했다. 이렇게 오로지 소프트웨어로만 구성된 새로운 종류의 의료기기를 SaMD (Software as a Medical Device)라고 지칭한다. 기존 하드웨어

국회의원에게 전하고 싶었던 규제 혁신 방안 - 최윤섭의 디지털 헬스케어

[영상] 국회의원에게 전하고 싶었던 규제 혁신 방안

/

2020년 10월 28일 국회 포럼에서 발표했던 자료를 영상으로 만들어 보았습니다. 발표 슬라이드는 이 링크에서 보실 수 있습니다. 원본 파일을 다운로드 받으실 수 있도록 해놓았으니, 의견이 필요하신 곳에 전달해주셔도 좋습니다. 특히 마지막 장의 제언에 대해서 기재부와 행안부에 의견을 드리실 수 있는 분들이 계시면 많이 전달해주시면 좋겠습니다. [youtube id=”ahBjLZjrJHE” width=”620″ height=”360″]

위로 스크롤