Thursday 28th March 2024,
최윤섭의 디지털 헬스케어

Smart Phone App으로 Skin Cancer를 진단한다?

1681240-poster-1280-phone-diagnostic-skin-cancer

현재 스마트폰으로 피부 사진을 찍어서, 이것이 skin cancer 인지를 판별해주는 앱이 몇가지가 있습니다. 이 앱의 정확성에 대해 조사한 논문아티클이 보고가 되었습니다. 결과적으로 진단 결과가 아주 정확하지는 않았고, 4개의 서로 다른 앱들이 약 30% 의 false negative rate (실제로는 피부암인데, 앱은 ‘암이 아니다’라는 결과를 준 경우) 을 보였다고 보고 되었습니다.

가장 정확한 app은 24시간 내에 아예 그 사진을 전문의에게 전송하여 진단을 받게 하는 앱이었고, 반면 알고리듬만으로 자동으로 판별하게 하는 앱은 정확도가 떨어진다고 나오네요.

In a recent study, researchers found that four different smartphone apps all claiming to be able to identify skin cancer came up with variable results. Most disturbingly, three out of the four apps categorized melanomas (i.e. skin cancer) as normal 30% of the time.

The three apps that failed to spot melanomas 30% of the time all use digital image analysis techniques. Computers decide whether a mole is cancerous or not. The fourth app actually sends images to a dermatologist, who replies with an evaluation in 24 hours.

링크한 칼럼에는 전반적으로 이런 앱에 대한 부정적인 어투로 씌여져 있지만, 제 생각에는 일단 스마트폰을 이용해서 이런 방법 자체가 ‘가능하다’ 는 것이 제게는 엄청난 발전으로 보이고, 또한 여느 암 진단 키트나 진단 방법들도 어느 정도의 false positive, false negative rate을 보이게 마련이지요. (그것과 비교했을 때 FNR 이 30% 라는 것이 조금 높아 보이긴 합니다만), 일단 처음부터 완벽한 방법이 어디 있겠나… 하는 생각이 듭니다.

여타 예측 툴과 마찬가지로 결국 machine learning technique 등을 사용하는 예측 툴의 경우, 예측을 어떠한 방법으로 하느냐, 그리고  training dataset 의 질과 양에 따라서 예측의 정확도 또한 크게 좌우 됩니다. 이러한 분야도 마찬가지로 dataset이 쌓여갈수록 정확도는 더욱 높아질 것으로 생각합니다. 더욱이 사진으로 skin cancer를 판별할 수 있다면, 다른 피부 관련 질환들도 역시 판별할 수 있게 되지 않을까 하는 생각도 해봅니다. 참으로 재미있는 시대에 살고 있는 것 같습니다.

 

아래는 위에서 언급한 “Diagnostic Inaccuracy of Smartphone Applications for Melanoma Detection” 논문의 Abstract 입니다.

Objective To measure the performance of smartphone applications that evaluate photographs of skin lesions and provide the user with feedback about the likelihood of malignancy.

Design Case-control diagnostic accuracy study.

Setting Academic dermatology department.

Participants and Materials Digital clinical images of pigmented cutaneous lesions (60 melanoma and 128 benign control lesions) with a histologic diagnosis rendered by a board-certified dermatopathologist, obtained before biopsy from patients undergoing lesion removal as a part of routine care.

Main Outcome Measures Sensitivity, specificity, and positive and negative predictive values of 4 smartphone applications designed to aid nonclinician users in determining whether their skin lesion is benign or malignant.

Results Sensitivity of the 4 tested applications ranged from 6.8% to 98.1%; specificity, 30.4% to 93.7%; positive predictive value, 33.3% to 42.1%; and negative predictive value, 65.4% to 97.0%. The highest sensitivity for melanoma diagnosis was observed for an application that sends the image directly to a board-certified dermatologist for analysis; the lowest, for applications that use automated algorithms to analyze images.

Conclusions The performance of smartphone applications in assessing melanoma risk is highly variable, and 3 of 4 smartphone applications incorrectly classified 30% or more of melanomas as unconcerning. Reliance on these applications, which are not subject to regulatory oversight, in lieu of medical consultation can delay the diagnosis of melanoma and harm users.

(이미지 출처: http://www.fastcoexist.com/1681240/when-diagnostic-health-apps-fail-skin-cancer-edition)

About The Author

디지털 헬스케어를 통해 의료를 혁신하고 세상을 더 건강하게 만들고자 하는 벤처투자자, 미래의료학자, 에반젤리스트입니다. 포항공대에서 컴퓨터공학과 생명과학을 복수 전공하였고, 동대학원에서 전산생물학으로 이학박사를 취득했습니다. 스탠퍼드 대학, 서울대학교병원 등에서 연구하였습니다. 현재 디지털 헬스케어 스타트업 전문 투자사, 디지털 헬스케어 파트너스 (DHP)를 2016년에 공동창업하였고, 대표를 맡고 있습니다. 지금까지 40여 개의 디지털 헬스케어 스타트업에 투자하였습니다. 네이처의 디지털 헬스케어 분야 자매지 『npj 디지털 메디슨』의 편집위원이자, 식약처, 심평원의 전문가 협의체 자문위원입니다. 『디지털 헬스케어: 의료의 미래』 『의료 인공지능』 『헬스케어 이노베이션』 등을 집필하였습니다.

1 Comment

Leave A Response