귀하의 PC는 Meta의 새로운 Llama AI 모델을 처리할 수 없습니다(아마도).

Meta는 자체 하드웨어에서 실행하기 위해 다운로드할 수 있는 회사의 가장 강력한 AI 모델의 수정된 버전인 Llama 3.3 70B를 출시했습니다. 하지만 귀하의 PC는 아직 준비가 되어 있지 않을 수도 있습니다.

다른 많은 대형 언어 모델(LLM)과 마찬가지로 Meta의 Llama 생성 AI 모델은 다양한 사용 사례에 맞게 여러 매개변수 크기로 제공됩니다. 예를 들어 가장 작은 Llama 3.2 1B 모델은 일반 스마트폰에서 빠른 성능으로 기본 작업을 처리할 수 있는 반면, 더 큰 11B 및 90B 버전은 더 강력하며 고급 PC와 서버가 필요합니다. Llama 모델은 주로 텍스트 및 채팅 기능을 위해 만들어졌지만 일부 버전은 이미지도 이해할 수 있습니다.

Meta의 새로운 Llama 3.3 70B 모델은 회사의 가장 큰 모델인 405B 버전과 동일한 성능을 제공하면서도 더 많은 PC와 서버에서 실행할 수 있는 기능을 제공할 것으로 예상됩니다. Meta의 생성 AI 부사장은 소셜 미디어 게시물에서 “이 모델은 온라인 선호도 최적화를 포함한 훈련 후 기술의 최신 발전을 활용함으로써 훨씬 저렴한 비용으로 핵심 성능을 향상시킵니다. ”

이 새로운 70B 모델은 원래 405B 버전보다 크게 축소되었지만 허용 가능한 성능으로 로컬에서 실행하려면 여전히 강력한 PC 또는 서버가 필요합니다. 파일 크기는 37.14GB이고 LLM은 일반적으로 제대로 실행하려면 RAM에 적합해야 하므로 64GB RAM이 있는 시스템이 필요할 것입니다. 또한 모델을 실행하려면 강력한 GPU(또는 여러 개가 함께 쌍을 이루는)가 필요합니다.

모델 설명에는 “Llama 3.3은 여러 언어로 상업용 및 연구용으로 사용하도록 고안되었습니다. 지침 조정된 텍스트 전용 모델은 보조자와 같은 채팅을 위한 반면, 사전 훈련된 모델은 다양한 자연어 생성 작업에 맞게 조정될 수 있습니다. Llama 3.3 모델은 모델의 출력을 활용하여 합성 데이터 생성 및 증류를 포함한 다른 모델을 개선하는 기능도 지원합니다. ”

Llama 3.3 70B는 대부분의 컴퓨팅 하드웨어에서 실행되지 않지만 LM Studio 또는 Nvidia의 Chat With RTX와 같은 앱을 사용하여 많은 데스크톱 및 랩톱에서 더 작은 1B, 3B 및 8B를 실행할 수 있습니다. 내 16GB M1 Mac Mini는 클라우드 기반 AI 챗봇과 비슷한 속도로 Llama 3.1 8B를 실행하지만 사용 가능한 RAM이 적기 때문에 8GB MacBook Air에서는 더 작은 3B 모델을 사용합니다.

Meta의 웹사이트, Hugging Face, LM Studio의 내장 검색 및 기타 저장소에서 Llama 3.3 70B 및 기타 Lama 모델을 다운로드할 수 있습니다.

출처: 테크크런치