Google의 양자 혁신은 '정말 놀랍지만' 해야 할 일이 더 있습니다.

오늘 열린 엔비디아의 GTC 행사에서 젠슨 황(Jensen Huang) CEO는 엔비디아가 수조 달러 규모의 산업을 변화시킬 수 있는 잠재력을 가지고 있다고 발표했다. 우리는 발표 내용에서 선별하여 헤드라인을 장식하는 응용 프로그램을 구동하는 하드웨어 및 소프트웨어 인프라에 중점을 둡니다.

Nvidia의 대표 이벤트인 GTC는 항상 AI에 대한 모든 것을 발표하는 소스입니다. 2021년 가을판도 예외는 아닙니다. 젠슨 황의 기조연설은 엔비디아(Nvidia)가 옴니버스(Omniverse)라고 부르는 것을 강조했습니다. Omniverse는 3D 워크플로우를 위한 Nvidia의 가상 세계 시뮬레이션 및 협업 플랫폼으로, 자사의 기술을 통합합니다.

우리가 본 것을 바탕으로 Omniverse는 메타버스에 대한 Nvidia의 해석이라고 설명할 수 있습니다. 옴니버스에 대한 자세한 내용은 스테파니 콘돈(Stephanie Condon)과 래리 디그넌(Larry Dignan)의 보도를 ZDNet에서 확인할 수 있습니다. 우리가 말할 수 있는 것은 실제로 이와 같은 것이 작동하려면 기술의 융합이 필요하다는 것입니다.

이제 대규모 언어 모델(LLM) 및 추론과 같은 구성 요소에 초점을 맞춰 Nvidia의 기술 스택에 대한 몇 가지 업데이트를 살펴보겠습니다.

참조: Nvidia의 GTC 2021 가을에서 발표된 모든 내용.

NeMo Megatron, Nvidia의 오픈 소스 대규모 언어 모델 플랫폼

Nvidia는 언어 모델 훈련을 위한 Nvidia NeMo Megatron 프레임워크라는 것을 공개했습니다. 또한 Nvidia는 새로운 도메인과 언어에 대해 훈련할 수 있는 5,300억 개의 모델인 Megatron LLM을 제공하고 있습니다.

엔비디아의 응용 딥 러닝 연구 부사장인 브라이언 카탄자로(Bryan Catanzaro)는 "새로운 언어와 도메인을 위한 대규모 언어 모델을 구축하는 것은 역대 최대 규모의 슈퍼컴퓨팅 애플리케이션일 가능성이 높다"며 "이제 이러한 기능은 전 세계 기업이 사용할 수 있는 범위 내에 있다"고 말했습니다.

LLM은 확실히 많은 견인력 을 받고 있으며 응용 프로그램의 수가 증가하고 있지만 이 특정 제품의 유용성에 대해서는 약간의 조사가 필요합니다. 우선, LLM을 훈련하는 것은 심장이 약한 사람을 위한 것이 아니며 깊은 주머니가 필요합니다. OpenAI의 GPT-3와 같은 모델을 훈련하는 데 약 1,200만 달러가 드는 것으로 추정됩니다.

OpenAI는 Microsoft와 파트너 관계를 맺고 GPT-3를 상용화하기 위해 GPT-3를 중심으로 하는 API를 제공했습니다. 그리고 자신의 LLM을 교육하는 타당성에 대해 물어봐야 할 많은 질문이 있습니다. 명백한 것은 당신이 그것을 감당할 수 있는지 여부이므로 Megatron은 일반적으로 기업을 대상으로 하는 것이 아니라 현 시점에서 기업의 특정 하위 집합을 대상으로 한다고 가정해 보겠습니다.

두 번째 질문은 무엇 때문입니까? 정말 자신의 LLM이 필요합니까? Catanzaro는 LLMS가 "심층적인 도메인 질문에 답하고, 언어를 번역하고, 문서를 이해 및 요약하고, 스토리를 작성하고, 프로그램을 계산할 수 있는 유연하고 유능한 것으로 입증되었다"고 말합니다. 

인상적인 AI 위업을 뒷받침하는 것은 일련의 소프트웨어 및 하드웨어 발전을 기반으로 하며 Nvidia는 이 두 가지를 모두 해결하고 있습니다. 

예를 들어, LLM이 문서를 "이해"한다고 말하지는 않겠지만, LLM이 충분히 유용하고 계속 개선될 것이라는 점을 인정합시다. 젠슨 황은 LLM이 "역사상 가장 큰 주류 HPC 애플리케이션이 될 것"이라고 주장했습니다.

진짜 질문은 왜 자신만의 LLM을 구축하느냐는 것입니다. 예를 들어 GPT-3의 API를 사용하지 않는 이유는 무엇입니까? 경쟁 차별화는 이 질문에 대한 정당한 답변이 될 수 있습니다. 비용 가치 함수는 오래된 "구매 대 구축"이라는 질문의 또 다른 화신일 수 있습니다.

즉, 애플리케이션을 구동하기 위해 LLM이 필요하다고 확신하고 GPT-3 또는 유사한 사용 조건을 가진 다른 LLM을 사용할 계획이라면 종종 자신을 훈련하는 것이 더 경제적일 수 있습니다. Nvidia는 도메인별 챗봇, 개인 비서 및 기타 AI 애플리케이션 구축과 같은 사용 사례를 언급합니다.

그렇게 하려면 처음부터 훈련하는 것보다 사전 훈련된 LLM에서 시작하여 전이 학습을 통해 필요에 맞게 조정하는 것이 더 합리적입니다. Nvidia는 NeMo Megatron이 대규모 변압기 언어 모델의 효율적인 훈련을 연구하는 Nvidia 연구원이 주도하는 오픈 소스 프로젝트인 Megatron의 발전을 기반으로 한다고 말합니다.

회사는 NeMo Megatron 프레임워크를 통해 기업이 정교한 자연어 처리 모델을 교육하는 문제를 극복할 수 있다고 덧붙입니다. 그러니까, 가치 제안은 'LLM에 투자하기로 결정했다면, 메가트론을 사용하지 않을 이유가 없을까요?' 합리적인 제안처럼 들리지만, 메가트론이 유일한 게임은 아니라는 점에 유의해야 합니다.

최근 독립적인 AI 연구자 집단인 EleutherAI는 60억 개의 매개변수 GPT-j 모델을 오픈 소스로 공개했습니다. 또한 영어 이외의 언어에 관심이 있는 경우 이제 Aleph Alpha가 영어, 독일어, 프랑스어, 스페인어 및 이탈리아어에 능통한 대규모 유럽 언어 모델을 보유하고 있습니다. Wudao는 1조 7,500억 개의 매개변수를 가진 가장 큰 LLM인 중국 LLM이며, HyperCLOVA는 2,040억 개의 매개변수를 가진 한국 LLM입니다. 또한 GPT2 또는 BERT와 같은 약간 오래된/더 작은 오픈 소스 LLM과 그 많은 변형이 항상 있습니다.

AI 모델 추론을 목표로 하면 총 소유 및 운영 비용을 해결할 수 있습니다

한 가지 주의할 점은 LLM의 경우 (매개변수가 더 많다는 점에서처럼) 더 크다고 해서 반드시 더 좋은 것은 아니라는 것입니다. 또 다른 하나는 메가트론(Megatron)과 같은 기반을 구축하더라도 LLM은 훈련하고 운영하는 데 비용이 많이 든다는 것입니다. Nvidia의 제품은 추론을 구체적으로 대상으로 하여 이 두 가지 측면을 모두 해결할 예정입니다.

Nvidia는 Megatron이 Nvidia DGX SuperPOD™의 대규모 가속 컴퓨팅 인프라 전반으로 확장하도록 최적화되어 있다고 말합니다. NeMo Megatron은 데이터를 수집, 큐레이션, 구성 및 정리하는 데이터 처리 라이브러리를 통해 LLM 교육의 복잡성을 자동화합니다. 데이터, 텐서 및 파이프라인 병렬화를 위한 고급 기술을 사용하여 대규모 언어 모델을 수천 개의 GPU에 효율적으로 분산할 수 있습니다.

하지만 추론은 어떨까요? 결국, 적어도 이론적으로는 LLM을 한 번만 훈련하지만 모델은 추론하고 결과를 생성하기 위해 여러 번 사용됩니다. 작동 의 추론 단계는 AI 모델의 총 운영 에너지 비용의 약 90%를 차지합니다. 따라서 빠르고 경제적인 추론을 갖는 것이 가장 중요하며, 이는 LLM에 국한되지 않습니다.

Nvidia는 전 세계 25,000+ 기업이 Nvidia AI 추론을 배포함에 따라 Triton Inference Server에 대한 주요 업데이트를 발표하여 이 문제를 해결하고 있습니다. 이번 업데이트에는 모든 AI 모델 및 프레임워크 에 대한 크로스 플랫폼 추론을 제공하는 오픈 소스 엔비디아 트리톤 추론 서버™ 소프트웨어와 AI 모델을 최적화하고 엔비디아 GPU에서 고성능 추론을 위한 런타임을 제공하는 엔비디아 텐서RT(Nvidia TensorRT™)의 새로운 기능이 포함됩니다.

Nvidia는 Triton Inference Server에 대한 여러 가지 개선 사항을 도입했습니다. LLM과의 가장 분명한 연관성은 Triton이 이제 다중 GPU 다중 노드 기능을 제공한다는 것입니다. 즉, 더 이상 단일 GPU에 맞지 않는 트랜스포머 기반 LLM을 여러 GPU와 서버 노드에서 추론할 수 있으며, Nvidia는 이를 통해 실시간 추론 성능을 제공한다고 말합니다.

AI 모델에 필요한 총 에너지의 90%는 추론에서 비롯됩니다.

Triton Model Analyzer는 수백 가지 가능성 중에서 AI 모델에 가장 적합한 구성을 선택하는 데 도움을 주어 주요 최적화 작업을 자동화하는 도구입니다. Nvidia에 따르면 애플리케이션에 필요한 서비스 품질을 보장하면서 최적의 성능을 달성합니다.

RAPIDS FIL은 랜덤 포레스트 및 그래디언트 부스트 의사 결정 트리 모델의 GPU 또는 CPU 추론을 위한 새로운 백엔드로, 개발자에게 Triton을 통한 딥 러닝과 기존 머신 러닝을 위한 통합 배포 엔진을 제공합니다.

마지막으로, 소프트웨어 측면에서는 Triton이 Amazon SageMaker Integration과 함께 제공되어 AWS의 완전 관리형 AI 서비스인 SageMaker 내에서 Triton을 사용하여 다중 프레임워크 모델을 쉽게 배포할 수 있습니다.

하드웨어 측면에서 Triton은 이제 Arm CPU와 Nvidia GPU 및 x86 CPU도 지원합니다. 이 회사는 또한 Nvidia가 CPU보다 최대 20배 더 많은 추론 성능을 제공한다고 주장하는 에지에서 AI 추론을 위한 저전력 소형 가속기인 Nvidia A2 Tensor Core GPU를 도입했습니다 .

Triton은 클라우드, 데이터센터, 엔터프라이즈 엣지 및 임베디드의 GPU 및 CPU에 대한 AI 추론을 제공하고, AWS, Google Cloud, Microsoft Azure 및 Alibaba Cloud에 통합되며, Nvidia AI Enterprise에 포함됩니다. 젠슨 황은 엔비디아의 AI 기술을 기반으로 하는 서비스를 엣지 에 제공하기 위해 엔비디아 런치패드(Nvidia Launchpad)를 발표했습니다.

Nvidia는 하드웨어 및 소프트웨어 에코시스템에서 선두를 유지하기 위해 적극적으로 움직입니다.

그리고 그것은 Nvidia가 오늘 공개한 모든 것과는 거리가 멉니다. Nvidia Modulus는 물리 법칙을 학습하고 따를 수 있는 물리 기반 머신 러닝 모델을 구축하고 훈련합니다. 현대 데이터 사이언스의 핵심 데이터 구조인 그래프는 이제 새로운 Python 패키지인 Deep Graph Library(DGL)를 사용하여 심층 신경망 프레임워크에 투영할 수 있습니다.

젠슨 황은 또한 10조 달러 규모의 물류 산업을 위한 ReOpt라는 세 개의 새로운 라이브러리를 도입했습니다. cuQuantum은 양자 컴퓨팅 연구를 가속화합니다. 그리고 cuNumeric은 Python 커뮤니티의 과학자, 데이터 과학자, 기계 학습 및 AI 연구원을 위해 NumPy를 가속화합니다. 또한 Nvidia는 GTC에서 65개의 새롭고 업데이트된 SDK를 소개합니다.

그렇다면, 이 모든 것을 어떻게 만들어야 할까요? 우리가 선별하긴 했지만, 이러한 각 항목은 아마도 자체 분석이 필요할 것입니다. 큰 그림은 Nvidia 가 다시 한 번 하드웨어와 소프트웨어를 연결하기 위한 공동의 노력으로 선두를 유지하기 위해 적극적으로 움직이고 있다는 것입니다.

LLM은 현재로서는 대부분의 조직에서 생소하게 보일 수 있습니다. 그럼에도 불구하고 Nvidia는 더 많은 관심과 실용적인 응용 프로그램을 보고 다른 사람들이 구축할 수 있는 LLM 플랫폼으로 자리매김할 것이라고 베팅하고 있습니다. 대안이 존재하지만 Nvidia의 소프트웨어 및 하드웨어 에코시스템 및 브랜드와 함께 큐레이팅, 지원 및 번들로 제공되는 것은 많은 조직에 매력적인 제안으로 보일 것입니다.

추론에 초점을 맞추는 것도 마찬가지입니다. AI 워크로드를 위해 특별히 설계된 아키텍처를 기반으로 하는 여러 하드웨어 공급업체의 경쟁이 치열해지는 상황에서 Nvidia는 추론을 두 배로 늘리고 있습니다. 이는 AI 모델 운영에서 총 소유 및 운영 비용에서 가장 큰 부분을 차지하는 부분입니다. 그리고 Nvidia는 다시 한 번 하드웨어와 소프트웨어를 에코시스템에 활용하는 시그니처 스타일로 이를 수행하고 있습니다.