Amazon은 RAG를 측정하기 위한 새로운 AI 벤치마크를 제안합니다.

AWS 연구진은 RAG에 적합한 알고리즘을 선택하면 점점 더 큰 언어 모델로 확장하는 것보다 더 많은 AI 개선이 가능하다고 말합니다.

생성 AI의 RAG 구현을 위해 Amazon이 제안한 벤치마킹 프로세스의 개요입니다.

많은 관측자들에 따르면 올해는 생성적 인공 지능(GenAI)이 기업에서 도약하는 해가 될 것으로 예상됩니다. 이러한 일이 발생할 수 있는 방법 중 하나는 AI 대규모 언어 모델을 회사 파일과 같은 도메인별 콘텐츠가 포함된 데이터베이스에 연결하는 방법론인 검색 증강 생성(RAG)을 이용하는 것입니다.

그러나 RAG는 함정이 있는 새로운 기술입니다.

이러한 이유로 Amazon AWS의 연구원들은 새로운 논문에서 RAG가 도메인별 콘텐츠에 대한 질문에 얼마나 잘 대답할 수 있는지 구체적으로 테스트할 일련의 벤치마크를 설정할 것을 제안합니다.

"우리의 방법은 RAG 시스템을 위한 최적의 구성요소를 선택하기 위한 자동화되고 비용 효율적이며 해석 가능하고 강력한 전략입니다."라고 수석 저자 Gauthier Guinet과 팀은 "작업을 통한 검색 증강 언어 모델의 자동화된 평가"라고 썼습니다. 특정 시험 생성'이 arXiv 사전 인쇄 서버에 게시되었습니다.

이 논문은 7월 21일부터 27일까지 비엔나에서 열리는 AI 컨퍼런스인 제41회 머신러닝 국제 컨퍼런스에서 발표될 예정입니다.

Guinet과 팀은 기본 문제는 다양한 작업에 대한 다양한 LLM(대형 언어 모델)의 기능을 비교할 수 있는 많은 벤치마크가 있지만, 특히 RAG 영역에서는 측정에 대한 "표준" 접근 방식이 없다는 점이라고 설명합니다. "진실성"과 "사실성"을 포함하여 중요한 많은 특성에 대한 "종합적인 작업별 평가"입니다.

저자는 자동화된 방법이 일정한 통일성을 창출한다고 믿습니다. "각 작업과 관련된 문서 자료에 맞는 객관식 시험을 자동으로 생성함으로써 우리의 접근 방식은 다양한 RAG 시스템의 표준화되고 확장 가능하며 해석 가능한 채점을 가능하게 합니다."

해당 작업을 설정하기 위해 저자는 네 가지 도메인의 자료를 활용하여 질문-답변 쌍을 생성합니다. DevOps 주제에 대한 AWS의 문제 해결 문서; arXiv 사전 인쇄 서버의 과학 논문 기사 초록; StackExchange에 대한 질문; 상장 기업의 최고 규제 기관인 미국 증권 거래 위원회의 서류도 포함됩니다.

그런 다음 각 LLM이 정답에 얼마나 가까운지 평가하기 위해 LLM에 대한 객관식 테스트를 고안합니다. 이 시험에는 두 가지 오픈 소스 LLM 계열, 즉 같은 이름의 프랑스 회사의 Mistral과 Meta의 Llama가 포함됩니다.

그들은 세 가지 시나리오에서 모델을 테스트합니다. 첫 번째는 LLM이 RAG 데이터에 전혀 액세스할 수 없고 미리 훈련된 신경 "매개변수" 또는 "가중치"에 의존하여 답을 찾아야 하는 "비공개" 시나리오입니다. 두 번째는 "오라클" 형태의 RAG로, LLM이 질문을 생성하는 데 사용된 정확한 문서, 즉 알려진 대로 실제 정보에 대한 액세스 권한을 부여받는 것입니다.

세 번째 형태는 모델이 다양한 알고리즘을 사용하여 질문의 맥락을 찾기 위해 전체 데이터 세트를 검색해야 하는 "고전적인 검색"입니다. Tel-Aviv University 및 Allen Institute for Artificial Intelligence(MultiQA)의 학자들이 2019년에 도입한 공식을 포함하여 여러 가지 인기 있는 RAG 공식이 사용됩니다. BM25라고 불리는 정보 검색을 위한 오래되었지만 매우 인기 있는 접근 방식입니다.

그런 다음 시험을 실행하고 결과를 집계합니다. 이는 LLM 및 다양한 RAG 접근 방식의 상대적인 강점과 약점에 대한 수많은 차트와 표를 채울 만큼 충분히 복잡합니다. 저자는 교육 분야에서 잘 알려진 "Bloom의 분류학"을 기반으로 시험 문제의 유용성을 측정하기 위해 메타 분석도 수행합니다.

시험의 데이터 포인트보다 더 중요한 것은 구현 세부 사항에 관계없이 RAG에 대해 사실일 수 있는 광범위한 결과입니다.

한 가지 광범위한 발견은 더 나은 RAG 알고리즘이 예를 들어 LLM을 더 크게 만드는 것보다 LLM을 더 많이 향상시킬 수 있다는 것입니다.

"검색 방법을 올바르게 선택하면 단순히 더 큰 LLM을 선택하는 것보다 성능이 향상되는 경우가 많습니다."라고 그들은 썼습니다.

GenAI의 급증하는 리소스 집약도에 대한 우려를 고려할 때 이는 중요합니다. 더 적은 비용으로 더 많은 일을 할 수 있다면 이는 탐색할 수 있는 귀중한 방법입니다. 이는 또한 확장이 항상 최선이라는 현재 AI의 기존 통념이 구체적인 문제를 해결하는 데 있어서는 전적으로 사실이 아니라는 점을 시사합니다.

마찬가지로 중요한 점은 RAG 알고리즘이 올바르게 작동하지 않으면 RAG가 없는 비공개 일반 바닐라 버전에 비해 LLM의 성능이 저하될 수 있다는 점입니다.

Guinet과 팀은 "잘못 정렬된 검색기 구성 요소는 검색이 전혀 없는 것보다 정확도가 더 떨어질 수 있습니다"라고 말했습니다.