Microsoft, 강력한 소형 언어 모델 Phi-2 공개

Google의 Gemini Nano는 출시된 지 일주일밖에 되지 않았지만 이미 경쟁이 치열합니다.

생성 인공 지능(AI)과 관련하여 언어 모델을 생각할 때 가장 먼저 떠오르는 용어는 대규모 언어 모델(LLM)입니다. 이러한 LLM은 ChatGPT, Bard 및 Copilot과 같은 가장 인기 있는 챗봇을 지원합니다. 그러나 Microsoft의 새로운 언어 모델은 소규모 언어 모델(SLM)이 생성 AI 공간에서도 큰 가능성을 가지고 있음을 보여주기 위해 여기에 있습니다.

수요일, 마이크로소프트는 상식적 추론과 언어 이해가 가능한 소형 언어 모델인 Phi-2를 출시했으며, 이제 Azure AI Studio 모델 카탈로그에서 사용할 수 있습니다.

하지만 작다는 말에 속지 마세요. Phi-2는 모델에 27억 개의 매개변수를 포함하고 있는데, 이는 13억 개의 매개변수가 있는 Phi-1.5보다 큰 도약입니다.

마이크로소프트에 따르면 Phi-2는 컴팩트함에도 불구하고 매개변수가 130억 개 미만인 언어 모델 중에서 '최첨단 성능'을 선보였으며 복잡한 벤치마크에서도 최대 25배 더 큰 모델보다 성능이 뛰어났습니다.

아래에서 볼 수 있듯이 Phi-2는 Meta의 Llama-2, Mistral, Google의 가장 뛰어난 LLM인 Gemini의 가장 작은 버전인 Google의 Gemini Nano 2를 비롯한 여러 벤치마크에서 더 나은 성능을 보였습니다.

Phi-2의 성능 결과는 훨씬 더 큰 규모의 모델과 비교할 수 있는 새로운 기능과 성능을 갖춘 SLM을 개발하려는 Phi와 Microsoft의 목표와 일치합니다.

마이크로소프트는 "데이터 선택과 같은 교육을 위한 전략적 선택을 사용하여 이러한 창발적 능력을 더 작은 규모로 달성할 수 있는지 여부에 대한 의문이 남아 있다"고 말했습니다.

"Phi 모델을 사용하는 우리의 작업 라인은 훨씬 더 큰 규모의 모델과 동등한 성능을 달성하는(아직 개척 모델과는 거리가 먼) SLM을 교육하여 이 질문에 대답하는 것을 목표로 합니다."

Phi-2를 훈련할 때 Microsoft는 사용되는 데이터에 대해 매우 선별적이었습니다. 이 회사는 처음에 "교과서 품질" 데이터를 사용했습니다. 그런 다음 Microsoft는 교육적 가치와 콘텐츠 품질을 기준으로 필터링된 엄선된 웹 데이터를 추가하여 언어 모델 데이터베이스를 확장했습니다.

그렇다면 Microsoft가 SLM에 중점을 두는 이유는 무엇입니까?

SLM은 LLM에 대한 비용 효율적인 대안입니다. 더 작은 모델은 LLM의 성능이 필요할 만큼 까다롭지 않은 작업에 사용될 때도 유용합니다.

또한 SLM을 실행하는 데 필요한 계산 능력은 LLM보다 훨씬 적습니다. 이러한 요구 사항 감소는 사용자가 데이터 처리 요구 사항을 충족하기 위해 값비싼 GPU에 투자할 필요가 없음을 의미합니다.