'AI 드리프트'란 무엇이며 ChatGPT를 더 멍청하게 만드는 이유는 무엇입니까?

특히 수학 문제의 경우 GPT-4 사용을 다시 생각해 볼 수 있습니다.

ChatGPT를 사용하여 직접 경험했거나 관련 내용을 읽었든 상관없이 소문은 사실이며 ChatGPT는 점점 더 멍청해지고 있습니다.

생성적 AI 모델은 사용자 입력을 사용하여 지속적으로 자신을 훈련하기 때문에 이 현상은 특히 당혹스럽습니다. 시간이 지남에 따라 더 많은 사용자 항목이 축적됨에 따라 모델이 더욱 지능적으로 변해야 합니다.

대답은 "드리프트"라는 개념에 있을 수 있습니다.

"드리프트"는 LLM(대규모 언어 모델)이 원래 매개변수에서 벗어나 예기치 않거나 예측할 수 없는 방식으로 작동하는 경우를 나타냅니다. 이는 복잡한 AI 모델의 일부를 개선하려고 시도하면 다른 부분의 성능이 저하되기 때문에 발생할 수 있습니다.

University of California at Berkeley와 Stanford University의 연구원들은 드리프트를 평가하고 ChatGPT의 인기 있는 대형 언어 모델(LLM), GPT 3.5(ChatGPT의 LLM) 및 GPT-4(Bing Chat 및 ChatGPT Plus의 LLM)가 어떻게 작동하는지 조사하기 위한 연구를 수행했습니다. ) 시간이 지남에 따라 변경되었습니다.

이 연구에서는 3월과 6월에 수학 문제 해결, 민감한 질문 답변, 의견 설문조사 답변, 멀티홉 지식 집약적 질문 답변, 코드 생성 수행, 미국 의료 면허 시험 수행, 시각적 추론 작업 완료 등 두 LLM의 능력을 비교했습니다.

위의 연구 결과에서 볼 수 있듯이, GPT-4의 3월 버전은 많은 경우에 6월 버전보다 성능이 뛰어났으며, 가장 눈에 띄는 것은 기본 수학 프롬프트에서 GPT-4의 3월 버전이 예제 (a)와 (b) 모두에서 6월 버전보다 성능이 뛰어났습니다. ).

GPT-4는 코드 생성, 건강 검진 질문 답변, 의견 설문 조사 답변에서도 악화되었습니다. 이러한 모든 사례는 표류 현상에 기인할 수 있습니다.

표류에 대해 연구원 중 한 명인 James Zou는 Wall Street Journal과의 인터뷰에서 "우리는 이것이 여기서 일어날 수 있다는 의심을 갖고 있었지만 표류가 얼마나 빨리 일어나고 있는지에 매우 놀랐습니다."라고 말했습니다.

지능 저하에도 불구하고 GPT-4와 GPT-3.5 모두에서 일부 개선 사례도 있었습니다.

결과적으로 연구원들은 사용자가 LLM을 계속 사용하되 사용할 때는 주의하고 지속적으로 평가할 것을 권장합니다.