미국에서 인허가 받은 의료 인공지능이 보험 급여를 얼마나 받고 있는지를 CPT 코드에 대한 청구 건수를 통해 분석한 논문이다. NEJM AI 에 2023년 11월에 출판되었다. 의료 인공지능이 FDA 등 규제 기관에서 의료기기 인허가를 받는 것은 의료 현장 활용 및 사업화를 위한 시작에 불과하다. 미국에서는 이제 700여 개에 달하는 (논문이 집필되는 시점에서는 500개 이상의) 머신러닝 및 인공지능 기반의 의료기기가 FDA 인허가를 받았다. 하지만 인허가 이후에 이런 인공지능 의료기기가 의료 현장에 얼마나 활발하게 도입되어서, 실제로 사용되고 있는지에 대해서는 알기가 어렵다. 이 논문에서는 미국의 의료기관이 공보험 및 사보험의 보험 수가를 청구하기 위해 사용하는 CPT 코드를 분석해서 실제로 어떤 의료 인공지능이, 어떻게, 얼마나 사용되고 있는지를 […]
의료는 본질적으로 멀티모달(multimodal) 입니다. 환자를 진료, 진단하고 질병을 치료하기 위해서는 언어, 이미지, 유전체 등 다양한 모달리티의 데이터를 해석하고, 다양한 모달리티를 통해서 환자 및 다른 의료진과 커뮤니케이션 할 수 있어야 합니다. 하지만 지금까지 인공지능은 주로 하나의 모달리티에 대해서만 개발되어 왔습니다. 하지만 여러 기술적 발전에 따라서, 멀티모달 인공지능의 개발이 시도되고 있는데요. 이를 (하나의 모달리티에 대해 speicalized 된 인공지능에 대비해서) 소위 제너럴리스트 인공지능(generalist AI) 라고 부릅니다. 최근에 여러 분야에서 generalist AI 를 개발하려는 시도들이 시작되고 있는데 (대표적인 것이 구글의 PaLM-E), 의료 분야에서도 generalist AI에 대한 개념 최근 제안되기 시작했습니다. 제너럴리스트 의료 인공지능의 조건 작년 4월에는 네이쳐에서 ‘Foundation Models for generalist medical artificial
의료 인공지능이 의사에게 얼마나/어떻게 도움이 되는지를 판단하는 것은 매우 중요하고도 어려운 문제입니다. 최근 Nature Medicine에는 인공지능이 영상의학과 의사에게 판독에 어떻게/얼마나 도움이 되는지를 분석한 논문이 실렸습니다. 그 결론은 결국 사람에 따라서, 질병에 따라서 heterogeneous 하다는 것입니다. 연구자들은 140명의 영상의학과 전문의에게 324명의 환자에 대한 흉부 엑스레이의 15가지 병변에 대해서, 인공지능의 도움을 받고서/받지 않고서 진행한 판독 결과를 세부적으로 상세하게 분석하였습니다. 사실 이 논문은 abstract의 내용만 보고 쉽게 생각하고 읽기 시작했는데, 분석 방법은 상당히 복잡해서 읽는데 애를 좀 먹었습니다. 분석을 위해서 다양한 방법을 쓰고, 분석 지표도 여러가지를 자체적으로 만들어내었는데요, 그만큼 ‘인공지능이 의사에게 어떤 영향을 주는가’를 분석하는 것 자체가 복잡성이 높은 이슈라는 것을 반영하는 것
최근에 Nature Medicine에 실린 흥미로운 논문입니다. 의사들이 진료할 때 의학적인 텍스트에 담겨 있는 정보를 추출하고, 이러한 텍스트를 요약하는 것은 중요하고도 많은 시간과 노력이 들어가는 과업인데요. 이러한 clinical text summarization을 (사람) 의료 전문가보다, LLM이 유의미하게 더 잘 한다는 것을 보여주고 있는 논문입니다. 논문의 초반부에는 여러 LLM 중에서 clinical text summarization을 가장 잘 하는 모델과 그 조건을 찾기 위한 내용이 나옵니다. 몇가지 프롬프트와 temperature 등을 메디컬 텍스트에 대해서 기계적으로 테스트하고 (BLEU, ROUGE-L, BERTScore 등의 자연어 처리 분야에서 결과물의 퀄리티를 판단하기 위한 지표를 씁니다), 또한 FLAN-T5, FLAN-UL2, Llama-2, Vicuna, Alpaca, GPT-3.5, GPT-4 등 총 8개 LLM에 대해서 QLoRA, In-context Learning 두 가지 방식을
카카오 브레인의 헬스케어를 책임지고 계시는, 배웅 부사장님(최고 헬스케어 책임자)의 인터뷰입니다. 카카오 브레인에서 왜 헬스케어를 하는지, 그리고 카카오 브레인에서 개발한 흉부 엑스레이 관련 초거대 의료 인공지능의 성능, 사업화 및 인허가 관련 이야기부터, 항체 신약 개발을 위한 인공지능에 이르기까지 다양한 이야기를 나눠보았습니다. 인터뷰에 응해주신 배웅 부사장님과 인터뷰 기회를 주신 카카오 브레인 관게자 분들께 감사드립니다!
이제는 한국을 넘어, 세계로 가고 있는 의료 인공지능 회사 루닛의 백승욱 의장님을 인터뷰 하였습니다! 최근의 볼파라 헬스 인수 건을 계기로 인터뷰 요청을 드렸는데, 한국과 미국을 오가시는 바쁘신 일정에도 흔쾌히 응해주셨습니다. 루닛의 현재와 미래에 대한 다양한 인사이트를 들을 수 있는 귀한 시간이었어요. 루닛은 상장 이후로 저희 디지털 헬스케어 업계 뿐만이 아니라, 코스닥 전체에도 크게 주목 받는 회사가 되었는데요. 의장님과는 사석에서도 종종 여러 말씀을 나누지만, 이번에도 또 많이 듣고 배웠습니다. 루닛이 왜 훌륭한 회사인지, 루닛이 지금까지 왜 잘 해왔고, 또 앞으로 왜 더 잘 해나갈 것인지를 알 수 있었던 시간이었습니다. 다른 많은 분들께도 의장님의 이야기가 전해지면 좋겠습니다.
세콰이어 캐피털은 최근에 ‘Bringing Generative AI to Healthcare‘ 라는 아티클을 홈페이지에 게재하였습니다. 이 아티클에서는 헬스케어 산업에서 생성형 인공지능에 대한 어떠한 투자 및 사업 기회가 있는지에 대해서 설명하고 있습니다. 최근 출판되는 대부분의 생성형 인공지능 관련 논문이나 연구들은, 병원 환경에서 의사가 인공지능을 사용할 때, 혹은 환자가 사용할 때 정도를 가정하고 그 정확성이나, 활용성 등을 검증하고 있는데요. 이 아티클은 흥미롭게도 backoffice와 frontline staff 의 두 가지 카테고리로 나눠서 생성형 AI의 활용 가능성을 제시하고 있습니다. 기존에 헬스케어 산업에서 SW 회사들은 특유의 어려운 시장 역학 때문에 어려움을 겪었습니다. Provider들의 마진율은 너무 낮기 때문에 장기적인 비용효과성에 대해서는 돈을 쓰기를 꺼려했고, Payor 들 역시 낮은 마진율에 고통받으면서
최근 워싱턴 포스트에는 ChatGPT와 같은 생성형 인공지능이 희귀 질환의 진단을 위해 활용 가치가 높을 것이라는 오피니언이 실렸습니다. 희귀 질환은 무려 10,000종이 넘게 존재하기 때문에, 심지어 의사들도 잘 알지 못하는 경우가 많습니다. 개별 희귀 질환에 대해서 진단할 수 있는 방법이 없는 것은 아니지만, 진료 시에 의사들이 ‘희귀 질환일 수도 있다’는 가능성을 떠올리지 못하는 경우도 많고, 유사한 증상을 유발하는 희귀 질병이 수백개 이상일 수 있기 때문에, 이 모든 질병에 대한 전문가가 있을 수도 없기 때문입니다. 이 때문에 환자들은 소위 ‘진단 방랑’에 올라서, 여러 의사와 병원을 전전하게 됩니다. 하지만 ChatGPT 등의 생성형 인공지능의 경우에는 환자의 증상이나 진료 기록을 바탕으로, 특정 희귀 질환의 가능성을
최근 Nature Medicine에 실린, LLM이 헬스케어를 변화시키는 여섯가지 방식에 대한 짧은 리뷰 아티클입니다. 관련 연구 및 사업을 하는 여섯 명의 전문가의 의견을 짤막하게 정리하였습니다. 대부분 자신이 현재 하고 있는 연구 혹은 사업에 대한 설명과 향후 전망에 대해서 이야기하고 있습니다. 간략히 요약해보면, 1. Virtual Nurses: 미국에서 만성질환 환자에 비해서 간호사가 너무 부족하기 때문에 LLM이 이러한 간호사의 역할을 보조할 수 있다는 것입니다. 최근에 실리콘밸리의 의료 LLM 스타트업으로 Hippocratic AI라는 팀이 유명한데, 이런 virtual nurses를 개발하고 있지요. 이 CEO의 인터뷰입니다. LLM이 간호사의 여러 administrative 업무를 보조하고, 만성질환 환자에게 ‘목소리’로 환자들의 질문을 듣고, 답하고, 스케쥴 잡고, 복약 알람 주고, 치료 계획에 대해서 설명해주고 등등의
네이버 클라우드에서 디지털 헬스케어 Lab을 이끄시며, 의료 분야의 초거대 인공지능 연구를 하고 계시는 유한주 박사님의 인터뷰 영상입니다! ChatGPT 등 초거대 인공지능은 무엇인지, 초거대 인공지능을 의료에서 어떻게 활용할 수 있을지, LLM을 의료 분야 정확성을 어떻게 검증하고, 규제할 수 있을지, 그리고 미래에 ChatGPT가 의료 분야에서 어디까지 발전할지, 그리고 더 나아가 네이버 클라우드에서 개발하고 계시는 초거대 의료 인공지능에 대해서도 말씀을 나눠보았습니다. 무척 바쁘신 와중에도 시간 내어주신 유한주 박사님께 다시 한 번 감사의 말씀을 드립니다! 영상에 나오는, 네이버 클라우드에서 의료 인공지능 관련 인턴 지원에 관심이 있으신 분은 유한주 박사님께 이메일(haanju.yoo@navercorp.com)로 연락드리시면 됩니다. 1. 초거대 인공지능이란 무엇인가? 2. ChatGPT를 의료에 활용한다면? 3.
구글의 두번째 의료 LLM(Large Language Model)인 Med-PaLM2 에 대한 논문을 리뷰합니다. 지난번 리뷰했던 Med-PaLM 논문에 이은 후속 연구 입니다. Med-PaLM 논문은 arxiv에 작년 12월에 서브밋되었고 (Nature에는 7월에 출판), Med-PaLM2 논문은 arxiv에 지난 5월에 업로드 되었습니다. 이 논문은 아직 peer-reviewed journal 에는 출판되지 않았습니다. 결론적으로 Med-PaLM2는 이전 Med-PaLM에 비해서 더 강력한 퍼포먼스를 보여주며, 많은 경우에는 인간 의사와 비교할만하거나 더 좋은 성과를 보여줍니다. 전반적으로 이전 논문과 논조와 구조가 비슷하지만 (그래서 더 빠르게 읽을 수 있었습니다), 더 다양하고 정교한 evaluation framework 를 제시하고 있습니다. 평가 방법도 더 다양하고, 평가 기준도 더 다양해져서, 다각도로, 특히 실제 의료 현장에서 필요한/중요한 측면들에서 Med-PaLM2 성능의 강력함을 잘
최근 Nature에 실린 구글의 의료 특화 LLM(Large Language Model), Med-PaLM 에 대한 논문입니다. 네이쳐에는 최근에 나왔지만, arxiv 에는 작년 12월에 서브밋 되었던 논문이니, 꽤 늦게 읽은 셈입니다. (그리고 Med-PaLM2가 arxiv에는 이미 지난 5월에 업로드 되었습니다. 이 논문은 별도의 포스팅으로 다루기로 하고, 일단 Med-PaLM을 정리해 봅니다) 기존의 많은 인공지능은 single task 기반이고, 사람과의 interactive 한 능력은 떨어집니다. 하지만 LLM은 expressive & interactive model이므로, 의학 텍스트에 있는 의학 지식을 대규모로 배울 수 있고, 이를 의료의 다양한 응용 분야에서 활용해 볼 수 있습니다. 하지만 역시 의료는 안전성이 극히 중요하기 때문에 evaluation framework를 극히 세심하게 만들어서, 모델의 퍼포먼스를 평가하고, 잠재적 위험을 완화할 수 있는
ChatGPT나 PaLM 과 같은 LLM이, 더 나아가서는 Foundation Model 자체가 가장 활발하게 활용될 수 있는 분야 중의 하나가 의료입니다. 최근에 의료 분야의 ChatGPT의 활용 방안에 대한 논의가 계속되면서, 고민이 깊어지는 곳이 있습니다. 바로 FDA와 식약처와 같은 규제 기관입니다. LLM은 여러가지 의미에서 인류가 그동안 접해보지 못했던 유형의 인공지능입니다. 이는 FDA와 식약처 같은 규제 기관의 입장에서도 마찬가지입니다. 그동안 ‘의료기기’라는 것을 정의하고, 허가하고, 규제하기 위해서 각국의 규제 기관들은 여러 법체계를 정비해왔는데요. 인공지능에 대해서도 마찬가지였지요. (한국의 식약처는 FDA보다 더 선도적으로 이 규제를 정비해왔고, 때문에 IMDRF에서 의료 인공지능 분야 의장국이 되기도 하였습니다. 그 결과 식약처 주도로 개발한 인공지능 가이드라인이 국제 공통 가이드라인으로 IMDRF에서 공식 승인되기도
지난 4월에 JAMA Intern Med에 출판되었을 때 꽤 화제(?)가 되었던 논문인데 이제서야 리뷰해봅니다. 환자의 임상적인 질문에 대해서 ChatGPT와 의사의 답변을 비교하여, 누가 더 양질의 & 공감력 높은 답변을 해주는지를 살펴본 논문입니다. 비록 methodology 측면에서 여러 한계가 있지만, 많은 시사점을 주는 연구라고 할 수 있습니다. 환자의 질문은 미국판 디씨인사이드..라고 할 수 있는, 레딧의 환자가 물어보고 의사가 답하는 게시판 (Reddit’s r/AskDocs)을 활용하였습니다. 여기에 올라온 환자의 질문과 의사의 답변 195개를 무작위로 추출하여, ChatGPT (GPT-3.5)의 답변과 비교하였습니다. (ChatGPT에 물어볼 때는 질문마다 fresh session에서 진행.) 이러한 의사의 답변과 ChatGPT의 답변은 blind 처리하여 세명의 의사가 평가하였습니다. 일단은 두가지 답변 중에 어느 쪽이 더 나은가? 를 평가하였고,
최근 JAMA에는 ChatGPT의 어려운 진단 케이스에 대한 감별진단 성능을 평가한 논문이 소개되었습니다. ChatGPT의 의료적 성능을 테스트하기 위해서 USMLE (미국 의사 면허 시험) 문제를 풀게 하는 등의 시도들은 있었지만, 의사들도 진단을 내리기 어려워하는 케이스들로만 테스트해본 적은 드물었다고 합니다. 이 아티클에서는 NEJM의 clinicopathologic conferences 에 나오는 케이스들을 활용했습니다. 여기에는 교육을 목적으로 병리학적으로 최종 진단이 내려진 어려운 케이스들이 소개됩니다. 먼저, 2023년의 7개 케이스를 통해서 ChatGPT가 여러 가능성 있는 진단명을 확율에 따라 랭킹을 매겨서 결과를 내어놓도록 프롬프트를 만들었습니다 (아래 그림 참고). 그리고, 2021년 1월부터 2022년 12월까지의 70개의 케이스를 입력하여 ChatGPT로 감별진단을 진행해보았습니다. 케이스가 너무 길어서 ChatGPT에 입력이 안되거나, diagnostic dilemmas에 해당되지 않는 케이스들은 제외되었습니다.
OpenAI의 대화형 챗봇 인공지능 ChatGPT가 최근 몇주 동안 엄청난 화제를 불러일으키고 있습니다. ChatGPT는 채팅을 하듯이 사용자가 질문을 텍스트로 입력하면, 그에 대한 답을 텍스트로 알려주는 서비스입니다. 이전에도 이런 기술이 없었던 것은 아니지만, ChatGPT는 이전 챗봇의 성능을 훨씬 뛰어 넘습니다. 어려운 질문이나, 창의적인 질문에 대해서도 답을 내어 놓고, 심지어는 그럴듯한 논문도 ChatGPT로 쓸 수 있습니다. ChatGPT는 텍스트 기반의 챗봇 형식의 인공지능이기 때문에, 의학 분야에서는 어떻게 활용될 수 있을지 궁금했는데요. (사실 좀 찾아봐도 많이 안 나옵니다.) 최근 한 연구에 따르면 ChatGPT가 미국 의사 면허 시험(USMLE)을 무난히 통과할 정도의 실력(?)을 가진 것으로 드러났습니다. Ansible Health라는 실리콘밸리의 병원 연구자들이 진행한 연구인데요. 정식으로 출판되지는 않고 medRxiv에