나는 한 가지 질문으로 Meta의 Llama 3.1 405B를 깨뜨렸습니다(GPT-4o가 옳았습니다).

대규모 언어 모델의 실패는 합성 데이터의 광범위한 사용에 문제가 있음을 나타낼 수 있습니다.

지난 주 Meta는 현재까지 가장 큰 LLM(대형 언어 모델)인 Llama 3.1 405B를 공개했습니다. 회사는 이 모델이 최초의 오픈 소스 "프론티어 모델"이라고 주장합니다. 즉, 폐쇄 소스가 보유한 최고와 경쟁할 수 있는 모델을 의미합니다. OpenAI의 GPT-4, Google의 Gemini 1.5 등을 제공합니다.

Llama 3.1도 해당 모델만큼 또는 적어도 쉽게 깨질 수 있는 것으로 나타났습니다. Gemini 1.5가 처음 출시되었을 때 언어 번역과 관련된 쿼리로 이를 깨뜨린 것과 유사하게, Llama 3.1이 첫 번째 질문으로 횡설수설하게 만들 수 있었습니다.

Google Gemini의 실패는 간단한 질문의 아름다운 예였으며 이제 LLM 테스트를 위한 첫 번째 질문이 되었습니다. 물론, 나는 그것을 사용하여 첫 번째 시도에서 Meta의 Llama 3.1 405B를 깨뜨릴 수 있었습니다.

"존재하다"를 의미하는 조지아어 동사 "ყოგნა"에 관한 질문은 코너 케이스라고 말할 수 있습니다. 흑해와 카스피해 사이의 코카서스 지역에 위치한 조지아 국가에는 거의 400만 명의 조지아어 사용자가 거주하고 있으므로 가장 중요한 동사의 활용형을 엉망으로 만드는 것은 코너 케이스.

어쨌든 나는 Llama 3.1 405B에 다음 형식으로 쿼리를 제출했습니다. "조지아어 동사 ყოფნა의 활용형은 무엇입니까?"

저는 Llama 3.1 405B를 무료로 사용할 수 있는 Meta의 Meta AI 사이트와 공개 코드 저장소가 있는 모든 오픈 소스 AI 모델에서 챗봇을 만들 수 있는 HuggingFace의 HuggingChat을 모두 사용했습니다. 상업용으로 호스팅되는 챗봇인 Groq에서도 쿼리를 시도했습니다. 모든 경우에 반응은 횡설수설이었습니다.

먼저 OpenAI GPT-4o의 정답은 다음과 같습니다.

(Google의 Gemini를 포함한 대부분의 다른 LLM 및 챗봇은 이제 이 질문에 올바르게 대답합니다.)

처음에는 Meta AI 사이트에서 ყოფნა가 너무 복잡하다는 메시지를 제시하며 항의했습니다. 내가 주장하자 터무니없는 꾸며낸 말들이 나왔다. Llama 3.1 405B의 답변은 다음과 같습니다.

보시다시피 위의 정답과 비교할 때 Llama 3.1 답변은 가깝지도 않습니다.

HuggingFace와 Groq 버전은 항의조차 하지 않았습니다. 그들은 똑같은 우스꽝스러운 대답을 직접적으로 내놓았습니다. HuggingFace의 응답에서 Meta AI는 Meta AI 사이트에서 제공하는 것과는 다른 횡설수설 단어 세트를 제공했습니다.

외국어 질문에 대한 Llama 3.1의 완전한 실패는 특히 Meta의 연구원들이 기술 문서에서 Llama 3.1이 "다국어성"이라고 부르는 측면에서 이전 버전보다 어떻게 발전했는지에 대해 길게 이야기하고 있다는 점을 고려하면 더욱 짜증스럽습니다. 영어 외에 다른 언어도 많이 있습니다.

저자는 언어 답변에 대해 추가로 인간의 피드백을 많이 요청했습니다. "우리는 언어학자와 원어민으로부터 수동으로 주석이 달린 고품질 데이터를 수집합니다."라고 그들은 썼습니다. "이러한 주석은 대부분 실제 사용 사례를 나타내는 개방형 프롬프트로 구성됩니다."

실패 사례에서 Llama 3.1 405B에 무슨 일이 일어나고 있는지 암시하는 몇 가지 흥미로운 측면을 볼 수 있습니다. 가짜 1인칭 답변인 "ვაყოფ"의 철자는 확실히 모국어가 아닌 내 귀에도 합법적인 조지아어 단어처럼 들립니다. 접두사 "ვ-"는 1인칭 활용의 일반적인 접두사이고 접미사 "-ოფ"는 유효한 조지아어 접미사입니다.

따라서 모델이 과도하게 일반화되어 합성 답변을 제시하여 질문에 대답하는 빠른 방법을 찾는 경우가 있을 수 있습니다. 원하는 경우 주어진 언어의 많은 부분에 대해 패턴으로 작동하는 답변이지만 다음과 같은 경우에는 실패합니다. 예외를 관찰하지 않고 과도하게 적용되었습니다.

Llama 3.1 405B의 답변은 여러 번의 시도에 따라 달라질 수 있습니다. 예를 들어, 질문을 다시 시도하면 모델은 현재 시제에 대한 유효한 활용형 표를 출력합니다.

그러나 미래 시제를 입력하라는 메시지가 표시되면 모델은 거의 맞지만 정답은 아닙니다. 표의 첫 번째 활용에 1인칭 접두사 ვ-를 추가하지 못한 경우:

흥미롭게도 Llama 3.1 405B의 작은 사촌인 70B는 실제로 첫 번째 시도에서 현재 시제에 대한 정답을 얻습니다. 이는 더 큰 405B 버전에 적용된 모든 추가 훈련 및 컴퓨팅 성능이 아마도 작은 경우에는 실제로 결과를 저하시키는 경향이 있음을 의미합니다.

나는 Meta의 엔지니어들이 그들의 특수 사례와 실패 사례를 면밀히 조사하고 소프트웨어가 과도하게 일반화되어 있는지 확인해야 한다고 생각합니다.

Meta의 연구원들은 모델을 "미세 조정"하고 수집한 인간 피드백을 보완하기 위해 합성 데이터를 광범위하게 사용했습니다. 이번 주 Nature 잡지의 기사에서 시사된 것처럼, 대규모로 사용되는 합성 데이터가 과도한 정규화에 기여하는지 여부는 공개된 질문입니다.