Monday 10th June 2019,
최윤섭의 Healthcare Innovation

[논문] 의료 인공지능에 대한 악의적 공격, 어떻게 대비해야 하는가?

Yoon Sup Choi March 28, 2019 AI, Digital Healthcare, Paper Comments
science-

며칠 전 Science에 실린 흥미로운 아티클입니다. 바로 의료 인공지능에 대한 adversarial attack, 즉, 악의적인 공격의 가능성에 관한 것입니다. 다른 모든 인공지능과 마찬가지로 의료 분야의 인공지능 역시 이러한 악의적인 공격에 취약할 수 있습니다. 데이터를 (인간은 알아차릴 수 없을 정도로) 미묘하면서도 교묘하게 의도적으로 조작함으로써, 알고리즘이 내어놓는 결과를 완전히 반대로 만들 수 있다는 것입니다.

예를 들어서, 피부의 점 사진에 대해서 (인간의 눈으로는 알 수 없는) 몇 픽셀 수준의 perturbation을 줌으로써, 원래는 인공지능이 정상으로 판독하던 것을 암으로 판독할 수 있게 만들 수 있습니다. 이는 이미지 판독 관련 뿐만 아니라, 자연어 처리에서 단어 표현을 조금 바꾸거나, 혹은 보험 심사에 대해서 청구 코드를 약간 바꾸는 것으로도 알고리즘이 정반대의 결과를 내어놓게 하는 것이지요.

science-1

아티클에서는 특히 보험 심사 알고리즘에 대한 악의적인 공격의 우려에 대해서 많이 언급합니다. 보험사는 보험 사기 판독 알고리즘이나, 보험 청구를 허가할 지에 대한 알고리즘을 사용하기 때문입니다. 사실 미국의 의료계에서는 이미 보험 청구에 대한 승인율을 높이기 위해서 청구 코드를 최적화(?)하거나 (내분비학회에서는 아예 청구에 대한 요령을 홈페이지에 올려놓았다고..), 혹은 데이터를 조작하면서 더 많은 보험료를 타내기도 한다는 점을 지적하면서 이런 악의적인 공격에 대한 동기는 충분하다고 설명합니다.

의료 인공지능에 대해서만 이 문제가 있는 것은 아니지만, 역시 건강과 많은 돈이 걸려 있는 분야이다보니, 이 이슈에 대해서 어떻게 대응할지도 중요합니다. 아직 이 문제가 불거지지 않았는데도 미리 대응하자니, 기술의 발전도 저해되고 (아직 성능의 최적화와 악의적인 공격에 대한 robustness를 모두 갖추는 것은 컴퓨터 공학적으로 해결되지 않은 문제. 즉, 현재로서는 robustness를 올리려면 성능이 떨어질 수밖에 없음), 이러한 의료 인공지능에 의한 혜택을 환자들이 누리지 못하는 결과를 받게 되기도 합니다. 또 너무 늦게 대응하면 문제가 겉잡을 수 없이 커질 수도 있습니다.

사실 이 문제는 의료 인공지능 뿐만 아니라, 자율 주행차나, 인공지능에 의한 무기의 컨트롤 등에 대해서도 마찬가지로 존재하는 문제입니다. 어찌보면 기존의 해킹 위험과 이에 대한 방화벽을 쌓는, 도전과 응전의 관계처럼 앞으로 시행착오를 거치며 단계적으로 발전할 것이라고 볼 수 있습니다.

이러한 문제는 분명히 존재하고 앞으로 그 중요성이 더 커질 가능성이 높습니다. 현재 이 문제에 대한 대비책을 모두 세울 수는 없겠습니다만, 이 문제의 중요성을 인식하고, 여기에 대한 기술적(사진에 대한 해시값을 저장했다가 비교 등), 규제적, 정책적인 대비를 차근차근 할 필요가 있을 것입니다.

About The Author

IT와 헬스케어의 컨버젼스를 통해 사회적 가치를 창출하는 것을 화두로 삼고 있는 융합 생명과학자, 미래의료학자, 작가입니다. 포항공대에서 컴퓨터공학과 생명과학을 복수 전공하였고, 동대학원에서 전산생물학으로 이학박사를 취득했습니다. Stanford University 방문연구원, 서울대학교 의과대학 암연구소 연구조교수, KT종합기술원 컨버전스연구소 팀장, 서울대병원 의생명연구소 연구조교수 등을 역임하였습니다. 현재 최윤섭 디지털 헬스케어 연구소의 소장이며, 국내 유일의 헬스케어 전문 스타트업 엑셀러레이터 디지털 헬스케어 파트너스 (DHP)의 대표 파트너를 맡고 있습니다. 성균관대학교 삼성융합의과학원 디지털헬스학과 초빙교수이자, VUNO, Zikto, Promisope, Souling, 트랜스링크 캐피털, HB 인베스트먼트, 녹십자 홀딩스의 자문이며, 매일경제신문의 필진입니다.

error: Content is protected !!