GenAI가 의료 문제에서 훨씬 더 나은 결과를 얻은 방법 - RAG 덕분에

현직 의사들이 수집한 일련의 새로운 질문을 사용하여 Stanford에서 제작한 Almanac은 일반 바닐라 ChatGPT-4, Microsoft의 Bing 및 Google의 Bard를 능가했습니다.

스탠포드의 학자들은 Gen AI 프롬프트에 응답하여 실시간으로 의료 정보를 검색하는 Almanac이라는 시스템을 구축했으며, 의사가 작성한 의학적 질문에 대한 답변이 향상되었음을 발견했습니다.

올해는 생성 인공 지능을 사용하는 많은 당사자들이 프로그램에 지식과 유사한 것을 제공하려고 노력할 해입니다. 그들은 대부분 "검색 증강 생성(retrieval-ugmented Generation)" 또는 RAG라고 불리는 빠르게 확장되는 노력을 사용하여 이를 수행할 것입니다. RAG는 대규모 언어 모델(LLM)이 출력을 형성하는 동안 외부 입력을 추구하여 신경망이 자체적으로 수행할 수 있는 작업을 증폭시킵니다. 소유하다.

예를 들어, 스탠포드 대학과 협력자들이 이번 주 권위 있는 New England Journal of Medicine이 발행한 새로운 저널인 NEJM AI에 발표한 보고서에 따르면 RAG는 LLM의 의학 지식을 향상시킬 수 있습니다.

GPT-4 및 기타 프로그램의 RAG 강화 버전은 위원회 인증 의사가 작성한 새로운 질문에 답할 때 "표준 LLM에 비해 성능이 크게 향상되었습니다"라고 보고서의 수석 저자인 Cyril Zakka와 동료들은 말했습니다.

저자는 RAG가 병원에서 Gen AI를 안전하게 배치하는 핵심 요소라고 주장합니다. 의료 데이터에 대한 교육을 통해 의학 지식을 위해 특별히 제작된 프로그램조차도 그 목표에 미치지 못한다고 그들은 주장합니다.

저자는 다양한 의료 데이터 세트의 질문에 답하도록 조정된 LLM인 Google DeepMind의 MedPaLM과 같은 프로그램이 여전히 환각에 시달리고 있다고 썼습니다. 또한 그들의 반응은 "임상적으로 관련된 작업을 정확하게 반영하지 않습니다."

RAG는 변화하는 의학 지식에 발맞추기 위해 LLM을 지속적으로 재교육하는 대안이기 때문에 중요하며, 이 작업은 프로그램의 "10억 매개변수 크기에서 엄청나게 비용이 많이 들 수 있습니다"라고 그들은 주장합니다.

이 연구는 몇 가지 방법으로 새로운 지평을 열었습니다. 첫째, 의료 정보를 검색하기 위해 Almanac이라는 새로운 접근 방식을 구축합니다. Almanac 프로그램은 MDCalc라는 의사가 편집한 14년 된 의료 참고 데이터베이스의 메타데이터를 사용하여 의료 배경 데이터를 검색합니다.

둘째, Zakka와 동료들은 "치료 지침부터 임상 계산에 이르기까지 다양한 주제를 다루는 여러 의학 전문 분야에 걸쳐" ClinicalQA라는 새로운 314개의 의학 질문 세트를 편집했습니다. 질문은 위원회 인증을 받은 의사 8명과 "일상적인 임상 업무와 관련된 전문 분야에 대해 최대한 많은 질문"을 작성하는 임무를 맡은 임상의 2명에 의해 작성되었습니다.

새로운 질문 세트의 요점은 의료 데이터베이스에 대해 훈련된 프로그램이 나중에 MedQA와 같은 의료 테스트에 표시되는 정보 조각을 복사하는 현상(예: 테스트 답변을 기억하는 것)을 피하는 것입니다. Zakka와 팀은 "모델 평가를 위한 데이터 세트가 훈련 데이터에 포함될 수 있어 동일한 벤치마크를 사용하여 모델을 객관적으로 평가하기 어렵게 만들 수 있습니다."라고 말했습니다.

ClinicalQA 질문은 의료 전문가가 작성했기 때문에 더욱 현실적이라고 팀은 주장합니다. "미국 의료 면허 시험 스타일의 질문은 의료 전문가가 직면하는 실제 임상 시나리오의 전체 범위를 요약하지 못합니다."라고 그들은 썼습니다. "그들은 실제 환자 치료를 구성하는 일련의 복잡한 미세 결정을 우회하여 환자 시나리오를 깔끔한 임상 장면으로 묘사하는 경우가 많습니다."

이 연구는 AI에서 알려진 "제로 샷" 작업에 대한 테스트를 제시했습니다. 여기서 언어 모델은 수정 없이 사용되며 정답과 오답의 예도 없습니다. 이는 학습 데이터에 없는 새로운 기능을 획득하는 언어 모델의 능력인 "상황 내 학습"을 테스트하기 위한 접근 방식입니다.

Almanac은 MDCalc 메타데이터의 지침에 따라 RAG 작업을 수행하기 위해 웹 기반 소스로 나가는 브라우저라는 프로그램에 OpenAI의 GPT-4를 연결하여 작동합니다.

의료 데이터에서 질문과 일치하는 항목이 발견되면 Retriever라는 두 번째 Almanac 프로그램이 결과를 GPT-4에 전달하여 질문에 대한 자연어 답변으로 변환합니다.

GPT-4를 사용한 Almanac의 응답은 기본적으로 해당 프로그램을 수정하지 않은 일반 바닐라 ChatGPT-4, Microsoft의 Bing 및 Google의 Bard의 응답과 비교되었습니다.

모든 답변은 사실성, 완전성, "선호도"(즉, 질문과 관련하여 답변이 얼마나 바람직한지) 및 프로그램을 중단시키려는 "적대적" 시도에 대한 안전성을 기준으로 인간 의사에 의해 등급이 매겨집니다. 공격에 대한 저항력을 테스트하기 위해 저자는 프로그램이 "인위적인 보호 장치를 우회하도록 설계된 잘못된 출력이나 고급 시나리오를 생성"하도록 설득하기 위해 고안된 질문 중 25개에 오해의 소지가 있는 텍스트를 삽입했습니다.

인간 심사위원들은 어떤 프로그램이 어떤 응답을 제출하는지 알지 못했고, 연구에 따르면 특정 프로그램에 대한 편견을 표현하는 것을 방지했습니다.

Almanac은 사실성, 완전성, 선호도에 대한 평균 점수가 각각 100점 만점에 67%, 70%, 70%로 다른 세 가지보다 뛰어났습니다. 이는 30%에서 50% 사이의 답변 점수와 비교됩니다. 나머지 3개.

프로그램에는 데이터가 어디에서 가져온 것인지에 대한 인용도 포함되어야 했고 그 결과는 정말 놀라웠습니다. Alamac은 91%의 정확한 인용으로 훨씬 더 높은 점수를 받았습니다. 나머지 3개에는 근본적인 오류가 있는 것 같았습니다.

Zakka와 팀은 "Bing은 개인 블로그와 온라인 포럼을 포함하여 신뢰할 수 없는 소스로 인해 82%의 성능을 달성했습니다."라고 썼습니다. "ChatGPT-4 인용은 대부분 존재하지 않거나 관련되지 않은 웹 페이지로 인해 어려움을 겪었지만 Bard는 본질적인 지식에 의존하거나 출처를 인용하라는 메시지가 있음에도 불구하고 출처 인용을 거부했습니다."

적대적인 프롬프트에 저항하기 위해 그들은 Almanac이 다른 것을 "크게 대체"하여 100% 정확하게 대답했지만 때때로 답변 제공을 거부함으로써 그렇게 했다는 것을 발견했습니다.

이번에도 특이한 점이 있었습니다. Google의 Bard는 종종 적대적인 프롬프트에 따라 정답과 거짓 답변을 모두 제공했습니다. ChatGPT-4는 근본적으로 완전히 자제하는 것이 아니라 잘못된 정보로 대답하기 때문에 적대적 환경에서 질문의 7%만 맞히는 등 큰 차이로 최악이었습니다.

저자들은 연감을 "최적화"하고 "미세 조정"하기 위한 많은 작업이 있음을 지적합니다. 이 프로그램은 "증거 수준, 연구 유형, 출판 날짜 등의 기준에 따라 정보 소스의 순위를 효과적으로 지정하는 데 한계가 있습니다." 또한 소수의 인간 심사관에게 의존하는 것은 규모를 확장할 수 없으므로 향후 프로젝트에서는 평가 자동화를 모색해야 한다고 그들은 지적합니다.