[NCI] 챗GPT, 암 관련 질문에 올바르게 답할 수 있을까?

인공 지능(AI) 기술은 많은 사람들의 일상생활의 일부가 되어 온라인 쇼핑과 소셜 미디어 사용과 같은 일상적인 작업을 돕는다. 하지만 AI 기반 챗봇이 사람들에게 암과 치료에 대한 정확한 정보를 제공할 수 있을까?

AI 챗봇은 평판이 좋은 자원으로부터 정보를 수집할 수 있지만 그 응답에는 오류나 누락, 환자가 아닌 의료 전문가를 위해 작성된 언어가 포함될 수 있다는 사실이 연구진에 의해 밝혀졌다.

그 연구 중 하나를 주도한 보스턴 소재 매스제너럴 브리검 의학 프로그램 인공지능(AI)팀의 다니엘 비터만 박사는 “우리는 아직 AI의 초기 단계에 있다. AI 챗봇은 의료 정보를 종합할 수 있지만 아직 환자의 임상 질문에 대해 일관되게 신뢰할 수 있는 응답을 생성할 수는 없다”고 말했다.

연구팀은 챗GPT 3.5 버전에 다양한 형태의 암에 대한 기본 치료 접근 방식을 설명하도록 요청했다(예 "1기 유방암에 대한 치료법은 무엇인가?").

거의 모든 챗봇 응답에는 전문 임상 지침과 일치하는 최소한 하나의 치료 접근 방식이 포함되었다. 그러나 이러한 응답 중 약 3분의 1은 임상 지침과 일치하지 않는 권장 사항이 하나 이상 포함되어 있었다.

두 번째 연구에서는 동일한 버전의 챗GPT를 포함한 4개의 챗봇이 일반적인 암(예 "전립선암이란 무엇인가?")에 대한 질문을 하도록 유도했다. 챗봇은 일반적으로 암에 대한 정확한 정보를 생성했지만, 대부분의 응답은 일반 환자에게 너무 기술적이었다는 사실이 연구진에 의해 발견되었다.

두 그룹 모두 8월 24일 ‘JAMA Oncology’에 연구 결과를 발표했다.

미국립암연구소 암 통제부서 실비아 추 박사는 "이번 연구결과는 인공지능 AI 챗봇이 아직은 환자와 대중을 안내할 준비가 되어 있지 않다는 걸 보여준다"면서도 "그러나 AI 기술은 존재해야 한다. 이 연구는 암과 관련된 소통 및 암 치료에 AI를 사용하는 것과 관련된 이점과 폐해에 대한 사려 깊은 논의의 문을 열어준다"고 밝혔다. 

기성 챗봇 시험하기

인공지능이란 학습과 추론, 문제 해결 등 일반적으로 지능적인 인간 행동으로 간주되는 기능을 컴퓨터가 수행하는 능력을 말한다.

챗봇은 대규모 언어 모델로 알려진 AI 유형이다. 그들은 질문을 해석할 수 있고 마치 사람이 쓴 것처럼 읽히는 텍스트 응답을 생성할 수 있다. 그 모델은 인터넷의 텍스트와 같은 대량의 정보에 대해 훈련이 되었다.

이 연구에서 평가를 한 챗봇은 아마도 선택된 의료 정보에 대해 훈련되지 않은 모델이었을 것이다. 그러나 특정 의료 교육을 받은 최신 모델이 준비되고 있다고 캘리포니아 대학교 컴퓨터 건강 과학 연구소 소장인 아툴 버트 박사가 밝혔다. 

두 연구는 일부 챗봇의 가능성과 현재의 한계를 모두 강조한다. 예를 들어, 챗봇은 올바른 치료 권장사항과 잘못된 치료 권장사항을 완벽하게 결합할 수 있어 전문가조차 오류를 감지하기 어렵게 만든다고 비터먼 박사는 지적했다.

그는 “대규모 언어 모델은 문장의 다음 단어를 예측하도록 훈련되었다. 그들의 주요 목표는 유창하고 언어적으로 이해가 되는 응답을 제공하는 것이므로 우리는 잘못된 응답에 놀라지 않았다"고 말했다.

흔한 암에 관해 챗봇에 질문하기

비터만 박사팀은 유방암과 폐암, 전립선암 등 세 가지 일반적인 암에 중점을 두었다. 그들은 초기 단계 유방암 또는 진행성 폐암과 같은 26가지 별개의 진단에 대한 치료 전략 4가지 질문을 개발했다.

연구진은 해당 암에 대한 ‘국가종합암네트워크(NCCN)’의 지침과 반응을 비교했다. 이 연구에서는 2021 NCCN 가이드라인을 벤치마크로 사용했다. 왜냐하면 그들이 사용한 챗GPT 버전인 GPT-3.5-turbo-0301이 2021년 9월까지 사용 가능한 데이터를 기반으로 개발되었기 때문이다.

3명의 종양학자가 104개의 응답을 기록했다. 챗봇은 104개 질문 중 102개(98%)에 대해 최소 1개의 추천을 제공했다. 그러나 이러한 응답 102개 중 35개(34.3%)는 권장 사항에 동의하지 않는 1개 이상의 치료법도 권장한 것으로 나타났다.

또한 종양 전문의들은 챗GPT 응답이 올바른지 여부에 대해 종종 동의하지 않았다. 연구원들은 이러한 불일치가 NCCN 지침의 복잡성과 챗GPT 응답이 불분명하거나 해석하기 어려울 수 있다는 사실을 반영한다고 말했다.

특히, 13개 응답(13%)에는 권장된 치료가 아닌 권장사항이 포함되었다. 이러한 답변에는 지침에 전혀 나타나지 않거나 무의미한 치료 전략이 포함되어 있었다. AI 연구자들은 이를 "환각"이라고 부른다.

4개의 챗봇 시험하기

두 번째 연구에서는 챗GPT-3.5, Perplexity, Chatsonic 및 Bing AI 챗봇의 가장 흔한 5가지 암(피부, 폐, 유방, 대장 및 전립선)에 대한 질문의 100개의 응답을 평가했다.

'대장, 직장 검사'와 '유방암 징후', '흑색종'과 같은 질문은 2021~2022년에 해당 암에 대한 Google 검색어 상위 항목을 기반으로 한 것이다.

연구원들은 챗봇 중 3개가 미국 암학회(American Cancer Society)와 메이요 클리닉, 국립암연구소, 질병통제예방센터 등 평판이 좋은 출처에서 제공한 암 정보로 응답했다고 밝혔다.

그러나 챗봇은 텍스트만으로는 복잡한 의학 개념을 설명하지 못할 수도 있다고 연구진은 말했다. 예를 들어, 림프절 부종과 같은 개념은 도표나 시각적 보조 자료 없이는 설명하기 어려울 수 있다고 지적했다.

일부 응답은 대학 교재 수준에서 작성되었다고 연구원들은 경고했다. 그들은 향후 연구에서는 보다 접근 가능한 응답을 얻는 데 도움이 될 수 있는 질문을 시험할 계획이다.

연구 책임자인 압도 카바리티 박사는 "대부분의 챗봇 응답은 일반 환자가 이해하기에는 너무 복잡했다. 챗봇은 매우 똑똑할 수 있다. 그러나 암에 관한 환자의 질문에 대답하는 데 있어서는 의사를 대신할 수 없다"고 말했다.

많은 환자들은 진료를 받을 때 너무 많은 정보를 듣게 되어 모든 것을 기억하기 어려울 수 있다고 카바리티 박사는 말했다. 그는 챗봇이 이러한 토론의 일반적인 아이디어 중 일부를 재강조함으로써 잠재적으로 유용할 수 있다고 덧붙였다.

암 치료 모범 사례 정보에 대한 접근 확대를 위한 AI의 잠재력

버트 박사에 따르면 챗봇은 불완전할 수 있지만 주요 센터를 넘어 암에 대한 지식에 대한 접근을 확대하는 데 도움이 될 잠재력이 있다.

그는 챗봇이 최고의 암 센터의 임상 데이터로 훈련되는 날을 상상한다. AI로 구동되는 디지털 건강 도구(tool)는 인터넷 접속이 가능한 모든 의사와 암 진단 및 치료에 대한 권장 사항을 공유할 수 있다. AI는 심지어 환자에게 진료를 설명하는 데 도움이 될 수도 있다고 뷰트 박사는 시사했다.

그는 “AI와 기계 학습 모델이 최고 수준의 암 치료를 확장하여 더 많은 사람들에게 다가가는 데 도움이 될 수 있다고 믿는다”고 말했다.