Nvidia, Dell 및 Qualcomm은 최신 벤치마크 테스트에서 AI 결과 속도를 높였습니다.

이는 AI 프로그램 실행을 위한 컴퓨팅 비용 상승을 막는 데 도움이 될 것입니다.

Nvidia가 AI 작업을 그래픽으로 표현한 것입니다.

인공 지능에 대한 최신 벤치마크 테스트에서 Nvidia, Dell, Qualcomm 및 수많은 스타트업은 프로세스에서 전력을 절약하면서 질문에 답하는 컴퓨팅 예산을 줄이는 작업에 새로운 기술을 도입했습니다.

이는 OpenAI의 ChatGPT 및 GPT-4와 같이 규모가 커지고 있는 AI 프로그램을 실행하기 위한 컴퓨팅 수요 증가를 막는 데 도움이 될 수 있습니다.

MLPerf 테스트를 실행하는 컨소시엄인 MLCommons는 신경망을 얼마나 빠르게 실행하여 예측할 수 있는지에 대한 최신 벤치마크 테스트를 화요일에 발표했습니다. Nvidia, Dell, Qualcomm 및 Supermicro와 같은 주요 공급업체는 다양한 칩 구성을 갖춘 컴퓨터 시스템을 제출하여 어떤 시스템이 최고 점수를 받았는지 확인했습니다.

그들은 초당 답변할 수 있는 질문의 수를 최대화하거나, 응답에 소요되는 최소 시간(대기 시간) 또는 최소 전력 소비량(에너지 효율성)을 제공하기 위해 경쟁했습니다.

Neural Magic, xFusion, cTuning, Nettrix, Neuchips, Moffett 및 Krai를 포함한 흥미로운 스타트업도 참여했습니다.

"MLPerf Inference 3.0"이라고 불리는 이 테스트 결과는 훈련된 신경망에 새로운 데이터가 공급되고 그 출력으로 결론을 생성해야 할 때 발생하는 컴퓨팅 작업을 에뮬레이트합니다.

벤치마크는 컴퓨터가 ImageNet을 포함하여 여러 작업에 대한 답변을 얼마나 빨리 생성할 수 있는지를 측정합니다. ImageNet에서는 신경망이 고양이나 개와 같은 사진의 개체를 설명하는 사진에 여러 레이블 중 하나를 적용하는 것이 과제입니다.

테스트 결과는 9월에 보고된 MLPerf 추론 2.1을 따릅니다.

MLCommons는 보도 자료에서 여러 공급업체가 제출한 결과가 "일부 벤치마크 테스트에서 60% 이상 성능이 크게 향상되었습니다"라고 밝혔습니다.

벤치마크의 경우 칩 및 시스템 제조업체는 1초에 처리되는 사진 수, 대기 시간, 요청 전송에 소요되는 총 왕복 시간 등의 측정값을 얼마나 잘 수행할 수 있는지 경쟁합니다. 컴퓨터에 전달되고 예측이 반환됩니다.

보고된 결과는 데이터 센터에서 작동하는 컴퓨터 시스템과 기존 데이터 센터 시스템 이외의 다양한 컴퓨터 시스템을 포괄하는 용어인 "에지"와 관련이 있습니다. 스프레드시트에는 데이터 센터와 엣지의 모든 다양한 세그먼트에 대한 결과가 나열됩니다.

결과에 따르면 더 많은 조직이 벤치마크 테스트를 구매하는 것으로 나타났습니다. MLCommons는 "기록적인 25개 제출 조직"이 "6,700개 이상의 성능 결과와 2,400개 이상의 성능 및 전력 효율성 측정값"을 제출했다고 밝혔습니다. 이는 9월의 성능 측정 5,300건 및 전력 측정 2,400건보다 증가한 수치입니다.

제출물은 '종료'와 '공개'라는 두 가지 카테고리로 분류됩니다. 전자 카테고리에서는 다양한 제출자가 AI 소프트웨어 실행 방법에 대해 엄격한 규칙을 따르므로 공평한 경쟁의 장에서 시스템을 가장 직접 비교할 수 있습니다.

후자의 경우 제출자는 벤치마크의 표준 규칙을 따르지 않는 고유한 소프트웨어 접근 방식을 사용하여 몇 가지 새로운 혁신을 만들어낼 수 있습니다.

흔히 그렇듯이 AI 실행에 사용되는 GPU의 주요 공급업체인 Nvidia는 대부분의 테스트에서 성능 면에서 많은 영예를 얻었습니다. Intel Xeon 프로세서 2개와 Nvidia의 "Hopper" GPU 칩 8개에서 실행되는 Nvidia 시스템은 ChatGPT의 전신인 Google BERT 언어 모델 실행을 포함하여 6가지 벤치마크 작업 중 5가지에서 1위를 차지했습니다. 6가지 작업 중 하나에서는 거의 동일한 Intel 및 Nvidia 칩 구성을 사용하는 Dell 시스템이 가장 높은 순위를 차지했습니다.

Nvidia의 결과에 대한 자세한 내용은 회사 블로그 게시물에서 확인할 수 있습니다.

Qualcomm은 BERT 언어 프로그램에 대한 쿼리 처리량을 이전 2.1 라운드의 결과보다 3배나 늘릴 수 있었다고 회사는 밝혔습니다. 2개의 AMD EPYC 서버 칩과 18개의 Qualcomm의 "AI100" AI 가속기 칩을 사용하여 Qualcomm이 제출한 시스템은 BERT 작업에서 데이터 센터 컴퓨터의 개방형 부문에서 최고 점수를 받았습니다. 초당 BERT 네트워크에 대한 53,024개의 쿼리 처리량이라는 성과는 비공개 부문에서 Nvidia의 1위 점수보다 약간 뒤처졌습니다.

새로운 참가자에는 AI 프로그래머가 다양한 하드웨어 플랫폼에서 벤치마크 테스트 결과를 재현할 수 있는 오픈 소스 도구를 개발하는 파리 소재 비영리 단체인 cTuning이 포함되었습니다.

CTuning은 폐쇄형 범주 내에서 엣지 컴퓨팅 벤치마크 작업 5개 중 4개에 대해 쿼리 제출부터 답변이 돌아올 때까지의 최단 시간인 가장 낮은 대기 시간으로 1위를 차지했습니다.

추론 경쟁자로 돌아온 Neural Magic은 MIT 학자인 Nir Shavit이 공동 설립한 벤처 지원 스타트업으로, 신경망의 어떤 "신경 가중치"가 사용되지 않은 채 남아 있을 수 있는지 찾아낼 수 있는 특수 소프트웨어를 다시 한 번 선보였습니다. 컴퓨터 칩에 의해 처리되지 않으므로 컴퓨팅 요구 사항이 절약됩니다.

이 회사의 DeepSparse 소프트웨어는 Nvidia GPU의 지원 없이 호스트 프로세서, Intel, AMD의 x86 칩 또는 향후 ARM 기반 칩만 사용할 수 있습니다.

엣지 컴퓨팅을 위한 개방형 부문의 BERT 언어 테스트에서 Neural Magic의 DeepSparse 소프트웨어는 2개의 AMD EPYC 서버 프로세서를 사용하여 Google BERT 신경망에서 초당 5,578개의 응답을 생성했습니다. 이는 Xeon 프로세서 2개와 Nvidia Hopper GPU 1개로 구성된 폐쇄 부문에서 Supermicro의 컴퓨터가 2위를 차지한 것보다 약간 뒤진 것입니다.

회사는 값비싼 GPU 대신 일반적인 x86 칩을 사용하면 프로그램 실행에 드는 전체 비용을 낮춤으로써 AI를 더 많은 기업과 기관에 확산시키는 데 도움이 될 것이라고 주장합니다.

Neural Magic의 제품 엔지니어링 책임자인 Michael Goin은 ZDNET과의 인터뷰에서 "이 소비자급 하드웨어를 통해 더 많은 것을 얻을 수 있습니다"라고 말했습니다. "이것은 기업들이 매장이나 소매점에서 판매, 재고 관리, 물류 운영을 위해 이미 사용하고 있는 것과 동일한 AMD 칩입니다."

Neural Magic의 접근 방식에 대한 자세한 내용은 회사 블로그 게시물에서 확인할 수 있습니다.