뉴럴 매직(Neural Magic)의 희소성, 엔비디아(Nvidia)의 호퍼(Hopper), 알리바바(Alibaba)의 네트워크는 최신 MLPerf AI 벤치마크에서 최초로 인정받았습니다.

AI용 칩에 대한 최신 벤치마크 테스트는 기계 클러스터, 희소성(sparsity), 신경망을 보다 효율적으로 만들기 위해 가지치기(pruning)를 포함하여 계속 증가하는 규모를 처리하는 새로운 접근 방식을 보여주었습니다.

최신 GPU 설계인 Nvidia의 Hopper는 신경망 하드웨어의 MLPerf 벤치마크 테스트에서 나타났습니다. 이 칩은 단일 칩 시스템이 구형 A100의 여러 칩을 사용하는 일부 시스템을 능가하는 훌륭한 점수를 보여주었습니다. 

인공 지능의 기계 학습 형태에서 점점 더 큰 신경망을 향하는 추세는 점점 더 커지고 있습니다. Google의 Pathways Language Model과 같은 가장 큰 신경망은 매개변수 또는 "가중치"로 측정되며 가중치가 추가될 때마다 사용되는 컴퓨팅 파워가 증가합니다.

그 증가하는 크기에 어떻게 대처해야 합니까? 한편으로는 더 강력한 칩을 사용할 수 있지만 일부 소프트웨어를 다이어트에 넣음으로써도 가능합니다. 

지난 목요일, MLPerf 테스트를 실행하는 컨소시엄인 MLCommons는 신경망이 예측을 위해 얼마나 빨리 실행될 수 있는지에 대한 최신 벤치마크 테스트를 발표했습니다. 보고된 결과에는 3월에 공개된 Nvidia의 "Hopper" GPU에 대한 최초의 벤치마크 결과를 포함하여 몇 가지 중요한 이정표가 포함되어 있습니다.

동시에 중국의 클라우드 대기업인 알리바바(Alibaba)는 전체 컴퓨터 클러스터가 단일 기계로 작동하는 것에 대해 사상 최초로 보고된 결과를 제출하여 달성할 수 있는 총 처리량 측면에서 다른 제출물을 압도했습니다. 

그리고 뉴럴 매직(Neural Magic)이라는 스타트업은 신경망의 일부를 잘라내는 수단인 "가지치기(pruning)"를 사용하여 일반 프로그램만큼 성능이 좋지만 필요한 컴퓨팅 파워가 더 적은 더 얇은 소프트웨어를 얻을 수 있는 방법을 보여주었습니다.

뉴럴 매직(Neural Magic)의 제품 엔지니어링 책임자인 마이클 고인(Michael Goin)은 ZDNet과의 인터뷰에서 패스웨이(Pathways)와 같은 거대 신경망을 언급하며 "우리 모두는 당혹스러울 정도로 무자비하고 밀도 높은 모델을 훈련하고 있다"고 말했다."우리 모두는 더 나은 방법이 있어야 한다는 것을 알고 있습니다."

추론 2.1(Inference 2.1)이라고 하는 벤치마크 테스트는 훈련된 신경망에 새로운 데이터가 공급되고 그 결과로 결론을 도출해야 하는 AI에 대한 머신 러닝 접근 방식의 절반을 나타냅니다. 이 벤치마크는 컴퓨터가 여러 작업에 대해 얼마나 빨리 답을 생성할 수 있는지 측정하며, 여기에는 신경망이 고양이나 개와 같은 사진 속 물체를 설명하는 사진에 여러 레이블 중 하나를 적용하는 것이 과제인 ImageNet이 포함됩니다. 

칩 및 시스템 제조업체는 1초에 처리되는 사진 수, 대기 시간을 얼마나 낮출 수 있는지, 요청을 컴퓨터로 보내고 예측을 반환하는 데 걸리는 총 왕복 시간과 같은 측정을 얼마나 잘 수행할 수 있는지 경쟁합니다. 

또한 일부 공급업체는 데이터 센터가 점점 더 커지고 막대한 양의 전력을 소비함에 따라 점점 더 중요해지는 요소인 기계가 소비하는 에너지의 양을 보여주는 테스트 결과를 제출합니다.  

문제의 나머지 절반인 신경망 훈련은 MLCommons가 별도로 보고하는 또 다른 벤치마크 결과 제품군에서 다루며, 가장 최근 라운드는 6월입니다. 

Inference 2.1 보고서는 지난 4월의 이전 추론 벤치마크에 이은 것입니다. 이번에 보고된 결과는 데이터 센터에서 작동하는 컴퓨터 시스템과 기존 데이터 센터 시스템 이외의 다양한 컴퓨터 시스템을 포괄하는 용어인 "엣지"에만 관련되었습니다. 한 스프레드시트는 데이터 센터 결과에 대해 게시되고 다른 스프레드시트는 엣지에 대해 게시됩니다.

최신 보고서에는 4월 보고서에서 데이터센터와 함께 분류된 TinyML로 알려진 초저전력 장치와 모바일 컴퓨터에 대한 결과는 포함되지 않았다. 

전체적으로 벤치마크는 칩 제조업체와 파트너, Neural Magic과 같은 신생 기업으로부터 5,300개의 제출을 받았습니다. 이는 지난 4월에 보고된 마지막 라운드보다 거의 40% 증가한 수치입니다. 

과거와 마찬가지로 Nvidia는 수많은 작업에서 추론 속도를 높여 최고 점수를 받았습니다. 엔비디아의 A100 GPU는 알리바바(Alibaba), 에이수스텍(ASUSTeK), 마이크로소프트 애저(Microsoft Azure), 비렌(Biren), 델(Dell), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), H3C, 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 인스퍼(Inspur), 인텔(Intel), 크라이(Krai), 레노버(Lenovo), 옥토ML(OctoML), 사페온(SAPEON), 수퍼마이크로(Supermicro) 등 다수의 파트너가 구축한 시스템에서 인텔 및 어드밴스드 마이크로 디바이스(Advanced Micro Devices)의 프로세서와 통합되었다. 

엔비디아는 "H100"으로 지정된 호퍼 GPU를 사용하여 결과의 데이터 센터 세그먼트에 두 개의 항목을 제출했습니다. 한 시스템에는 호스트 프로세서로 AMD EPYC CPU가 탑재되었고, 다른 시스템에는 Intel Xeon CPU가 탑재되었습니다. 

두 경우 모두 Hopper GPU가 단일 칩임에도 불구하고 매우 높은 점수를 받았으며 많은 경우 2개, 4개 또는 8개의 A100 칩이 있는 시스템을 능가했다는 점은 주목할 만합니다.

Hopper GPU는 올해 말에 상용화될 것으로 예상됩니다. Nvidia는 2023년 초에 Intel 및 AMD CPU와 경쟁할 예정인 "Grace" CPU 칩을 사용할 수 있을 것으로 예상하며 이 부품은 시스템에서 Hopper의 동반자 칩이 될 것이라고 말했습니다. 

엔비디아(Nvidia)와 함께 모바일 칩 대기업 퀄컴(Qualcomm)은 머신 러닝 작업을 위해 제작된 새로운 가속기인 클라우드 AI 100 칩의 새로운 결과를 선보였습니다. 퀄컴은 이번 라운드에 델(Dell)과 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo)를 포함한 새로운 시스템 파트너를 추가했으며, 자사의 칩을 사용한 총 제출 건수를 늘렸다.

칩 제조업체와 시스템 제조업체 간의 대립이 헤드라인을 지배하는 경향이 있지만, MLPerf에는 동일한 하드웨어에서 더 많은 성능을 얻을 수 있는 새로운 접근 방식을 제시하는 영리한 연구자가 점점 더 많아지고 있습니다. 

과거 사례로는 DevOps의 엄격함을 머신 러닝 실행에 적용하려는 스타트업인 OctoML이 있습니다. 

이번에는 벤처 투자를 받은 4년 된 스타트업 뉴럴 매직(Neural Magic)이 흥미로운 접근 방식을 제안했습니다. 이 회사의 기술은 MIT의 학자인 설립자 니르 샤빗(Nir Shavit)과 전 MIT 연구 과학자이자 회사의 CTO인 알렉스 마트베예프(Alex Matveev)의 연구에서 부분적으로 비롯되었습니다. 

이 연구는 신경망에 필요한 컴퓨팅을 슬림화하는 데 있어 돌파구가 될 수 있음을 시사합니다. 

Neural Magic의 기술은 신경망을 훈련하고 사용하지 않을 수 있는 가중치를 찾습니다. 그런 다음 이러한 가중치를 0 값으로 설정하여 컴퓨터 칩에서 처리되지 않도록 합니다. 

가지치기(pruning)라고 하는 이 방법은 원치 않는 나무 가지를 제거하는 것과 비슷합니다. 그러나 이는 또한 "희소성(sparsity)"으로 알려진 수십 년 전으로 거슬러 올라가는 딥 러닝의 광범위한 추세의 일부이기도 합니다.머신 러닝에 대한 희소 접근 방식에서는 일부 데이터와 프로그램의 일부가 실용적인 목적을 위해 불필요한 정보로 간주될 수 있습니다. 

Neural magic은 신경망의 메모리와 대역폭 요구 사항의 많은 부분을 차지하는 텐서 구조인 신경망 가중치를 낮추는 방법을 알아냅니다. 다대다 연결 계층의 원래 네트워크는 일부 연결만 남을 때까지 정리되고 나머지는 0이 됩니다. 가지치기 접근 방식은 희소성으로 알려진 기계 학습의 더 큰 원칙의 일부입니다. 

양자화(quantization)라고 하는 또 다른 기술은 일부 숫자를 더 간단한 표현으로 변환합니다. 예를 들어, 32비트 부동 소수점 숫자는 계산하기 쉬운 8비트 스칼라 값으로 압축할 수 있습니다. 

Neural Magic 기술은 데이터 사이언티스트가 정확도를 희생하지 않고 안전하게 폐기할 수 있는 신경망 부분을 자동으로 찾는 데 사용할 수 있는 일종의 변환 도구 역할을 합니다. 

Neural Magic의 프로젝트 책임자에 따르면 이점은 프로세서가 처리해야 하는 계산 수를 줄이는 것뿐만 아니라 CPU가 칩 밖으로 DRAM과 같은 외부 메모리로 이동해야 하는 양을 줄여 모든 것을 느리게 하는 것입니다. 

Neural Magic의 Goin은 "매개변수의 90%를 제거하고 필요한 FLOP의 90%를 제거합니다"라고 말하면서 프로세서가 계산을 실행하는 속도를 나타내는 표준 척도인 "초당 부동 소수점 연산"을 언급했습니다.  

또한 "CPU는 메모리 대역폭이 제한되기 매우 쉽습니다"라고 Goin은 말했습니다. "큰 텐서를 이동하려면 많은 메모리 대역폭이 필요한데, CPU는 이 성능이 좋지 않습니다"라고 Goin은 지적했습니다. 텐서는 신경망 가중치의 값을 구성하고 메모리에 유지해야 하는 구조입니다. 

가지치기를 통해 CPU는 GPU보다 이점을 가질 수 있다고 Neural Magic은 말합니다. 왼쪽에서 GPU는 GPU의 고도로 병렬화된 회로를 채우기 위해 모든 가중치와 함께 전체 신경망을 실행해야 합니다. 오른쪽에서 CPU는 풍부한 L3 캐시 메모리 온 칩을 사용하여 오프칩 DRAM에 액세스하지 않고도 텐서 열이라고 하는 로컬 메모리에서 텐서를 실행할 수 있습니다.

Neural Magic은 2.3기가헤르츠에서 실행되는 두 개의 Intel Xeon 8380 칩이 있는 시스템을 사용하여 데이터 센터 및 엣지  범주에서 결과를 제출했습니다. Neural Magic이 선택한 범주는 데이터 센터와 엣지 모두의 "개방형" 범주로, 제출자는 벤치마크의 표준 규칙을 준수하지 않는 고유한 소프트웨어 접근 방식을 사용할 수 있습니다. 

이 회사는 DeepSparse라는 새로운 런타임 엔진을 사용하여 Google에서 개발한 BERT 자연어 처리 신경망 버전을 실행했습니다. 

BERT 네트워크를 정리하면 크게 줄어든 가중치 크기를 DRAM으로 오프칩하는 대신 CPU의 로컬 메모리에 유지할 수 있습니다. 

최신 CPU에는 자주 사용하는 값을 저장할 수 있는 캐시라고 하는 대용량 로컬 메모리가 있습니다. Xeon과 같은 대부분의 서버 칩에서 소위 레벨 3 캐시는 수십 MB의 데이터를 저장할 수 있습니다. Neural Magic DeepSparse 소프트웨어는 BERT 프로그램의 파일 크기를 1.3GB에서 10MB로 줄입니다. 

Goin은 ZDNet에 "이제 가중치가 매우 작을 수 있으므로 캐시에 맞출 수 있으며, 더 구체적으로 말하면 이러한 다양한 수준의 캐시에 여러 작업을 맞출 수 있으므로 DRAM으로 나가는 데 갇히는 대신 더 효과적인 메모리 대역폭을 얻을 수 있습니다.

DeepSparse 프로그램은 많은 표준 시스템보다 초당 처리되는 쿼리 수가 훨씬 더 많았습니다. 

엄격한 소프트웨어 규칙을 따르는 ResNet 데이터 센터 테스트의 "폐쇄형" 버전의 결과와 비교할 때, Neural Magic의 단일 Intel CPU는 Hewlett Packard Enterprise 및 Nvidia 자체를 포함하여 여러 Nvidia 가속기를 사용하여 수많은 제출물을 능가했습니다. 

보다 대표적인 비교로, 두 개의 Intel Xeon이 있는 Dell PowerEdge 서버는 초당 47.09개의 쿼리만 처리한 반면 Neural Magic 머신 중 하나는 초당 928.6개의 쿼리를 생성할 수 있었습니다. 

Neural Magic의 Intel Xeon 기반 시스템은 BERT 신경망 가중치의 60%가 0이 되었음에도 불구하고 동일한 수준의 정확도로 Dell 시스템보다 훨씬 더 빠르게 결과를 제출했습니다. 

뉴럴 매직(Neural Magic)의 딥스parse(DeepSparse)에서 사용한 BERT 버전은 가중치의 60%가 제거되었고, 인공 뉴런 레이어 중 10개가 0으로 처리되어 14개만 남았으며, Dell 컴퓨터는 표준 온전한 버전에서 작업하고 있었습니다. 그럼에도 불구하고 Neural Magic 기계는 여전히 예측에 대한 표준 99% 정확도 측정의 1% 이내의 예측을 생성했습니다.

뉴럴 매직(Neural Magic)은 BERT 자연어 처리 프로그램을 다양한 희소성으로 가지치기할 수 있는 능력을 설명했습니다.

Neural Magic은 이 업적을 설명하는 자체 블로그 게시물을 게시했습니다.

Neural Magic의 연구는 AI와 칩 커뮤니티에 광범위한 영향을 미칩니다. 리소스를 덜 사용하도록 신경망을 조정할 수 있다면 계속 증가하는 기계 학습의 전력 예산을 막을 수 있는 방법을 제공할 수 있습니다.

"추론을 수행하기 위해 박스를 배포하는 데 드는 실제 비용을 생각해 볼 때, 런타임 엔진에서 해야 할 일이 많지만, 기계 학습 커뮤니티, ML 엔지니어와 데이터 사이언티스트가 모델을 최적화할 수 있는 더 많은 도구를 확보하는 측면에서 해야 할 일이 훨씬 더 많습니다. 라고 말했다"고 고인은 ZDNet에 말했다.

"우리는 큰 로드맵을 가지고 있습니다"라고 Goin은 말했습니다. "우리는 더 많은 사람들에게 최적화를 개방하고 싶습니다." 

"모델을 무게의 95%까지 가지치기할 수 있다면 왜 모든 사람이 이렇게 하지 않는 것일까요?"라고 Goin은 말했습니다. 

Goin은 희소성이 "양자화와 같을 것이며, 모든 사람이 선택할 수 있는 것이 될 것이며, 우리는 그 가장자리에 있을 뿐"이라고 말했습니다. 

칩 산업의 경우, Neural Magic이 X86 칩의 이점을 과시할 수 있었다는 사실은 추론과 훈련 모두에 더 많은 종류의 칩 접근 방식이 실행 가능할 수 있음을 의미합니다. 뉴럴 매직(Neural Magic)은 올해 초 인텔의 x86 CPU에 대한 가장 큰 경쟁자인 어드밴스드 마이크로 디바이스(Advanced Micro Devices)와 파트너십을 맺어 이 작업이 인텔 브랜드 칩에만 국한되지 않는다는 것을 보여주었습니다.

인텔의 과학자들은 작년에 BERT의 가지치기 모델을 만들기 시작했을 때 Neural Magic으로 눈을 돌렸습니다. 이스라엘 인텔 연구소의 오피르 자프리르(Ofir Zafrir)와 동료들이 작성한 논문에 따르면, "점진적 크기 가지치기(Gradual Magnitude Pruning)"라고 불리는 뉴럴 매직(Neural Magic) 접근법은 "학습률 되감기(Learning Rate Rewinding)"라는 인텔 접근법과 결합되었다.이 둘의 조합은 정확도 손실을 최소화하는 결과를 낳았다고 저자들은 보고했다.

Goin은 Neural Magic이 향후 ARM 기반 시스템을 추가할 것으로 예상합니다. Goin은 ARM 명령어 세트를 사용하는 Mac의 M 시리즈 실리콘을 언급하며 "여기 이 MacBook Pro에서 바로 MLPerf 제출을 할 수 있으면 좋겠습니다.

Goin에 따르면 현재 거의 40명의 직원이 있는 Neural Magic은 작년에 벤처 캐피털에서 3천만 달러를 모금했으며 "2024년까지 활주로"를 가지고 있습니다. 이 회사는 DeepSparse 런타임 엔진을 사용할 수 있는 라이선스를 판매하여 코드로 수익을 창출합니다. "우리는 엣지에서 자연어 처리 및 컴퓨터 비전과 같은 것에 대한 가장 큰 관심을 보고 있습니다"라고 Goin은 말했습니다. 

소매업은 제조 및 IoT 애플리케이션과 마찬가지로 사용 사례에 대한 매우 큰 유망 영역 중 하나라고 Goin은 말했습니다. 그러나 적용 가능성은 실제로 멋진 가속기가 없고 그러한 하드웨어를 갖지 못할 수도 있는 세상에 있는 수많은 겸손한 시스템입니다. "수십 년 동안 존재해 온 산업에는 어디에나 CPU가 있습니다"라고 Goin은 말했습니다. "스타벅스 뒷방에 들어가면 옷장에 서버 랙이 있습니다." 

MLPerf의 또 다른 놀라운 첫 번째 업적 중에서도 클라우드 대기업 알리바바(Alibaba)는 일반적으로 단일 기계에 대한 경쟁에서 여러 기계로 구성된 시스템을 제출한 최초이자 유일한 회사였습니다. 

알리바바는 인텔 제온과 엔비디아 GPU를 혼합하여 실행되는 2개에서 6개의 노드로 구성된 5개의 시스템을 제출했다. Sinian vODLA라고 하는 Alibaba 소프트웨어 프로그램은 서로 다른 컴퓨터 간의 서로 다른 프로세서에 걸쳐 신경망 작업을 자동으로 분할합니다.

가장 눈에 띄는 기능은 Sinian 소프트웨어가 신경망의 작업을 하나가 아닌 다양한 Nvidia GPU를 포함한 다양한 종류의 프로세서에 할당하도록 즉석에서 결정할 수 있으므로 각 프로세서의 성능 차이가 장애물이 아니라 잠재적인 이점이 된다는 것입니다. 

알리바바의 이기종 컴퓨팅 담당 수석 과학자인 웨이펑 장(Weifeng Zhang)은 ZDNet과의 인터뷰에서 "이것이 미래의 이기종 컴퓨팅"이라고 말했다.

Alibaba Cloud Server의 벤치마크 결과는 몇 가지 놀라운 수치를 보여주었습니다. BERT 언어 작업에서 총 32개의 Nvidia GPU가 있는 4노드 시스템은 초당 90,000개 이상의 쿼리를 실행할 수 있었습니다. 이는 24개의 GPU를 사용하는 Inspur의 단일 머신인 데이터센터 머신의 폐쇄형 카테고리에서 가장 많이 수상한 제출물보다 27% 더 빠릅니다.

4개의 개별 컴퓨터로 구성된 알리바바 클라우드 컴퓨터는 32개의 엔비디아 GPU를 마샬링하여 인스퍼(Inspur)의 24칩 시스템보다 27% 더 빠른 결과를 낼 수 있었다.

"이 작업의 가치는 쉽고, 효율적이며, 경제적인 것으로 요약할 수 있습니다"라고 Zhang은 ZDNet에 말했습니다.  

첫 번째 점수는 사용 편의성으로, "우리는 컴퓨팅 [하드웨어]의 이질성을 추상화할 수 있고, 고객을 위해 거대한 리소스 풀처럼 만들 수 있다"고 Zhang은 설명했습니다.

여러 컴퓨터를 하나로 작동시키는 방법은 매우 큰 신경망의 부상과 함께 새로운 관련성을 보여주고 있는 컴퓨터 과학의 한 분야입니다. 그러나 여러 컴퓨터에서 작업을 분할하기 위해 소프트웨어 시스템을 개발하는 것은 대부분의 AI 산업 사용자가 도달할 수 없는 힘든 작업입니다. 

Nvidia는 GPU를 분할하여 멀티 테넌트 칩으로 만드는 방법을 찾았다고 Zhang은 다중 인스턴스 GPU인 "MIG"라고 말했습니다. 

그는 이것이 시작에 불과하지만, 알리바바는 그 이상을 기대하고 있다고 말했다. "MIG는 GPU를 7개의 작은 구성 요소로 나누지만, 우리는 이를 일반화하여 물리적 한계를 넘어 실제 수요에 따라 리소스 할당을 사용하고자 합니다"라고 Zhang은 설명했습니다. 

"ResNet-50을 실행하고 있다면 10TOPS의 연산만 사용하고 있을 수 있습니다." 이는 초당 수조 번의 연산을 의미합니다. MIG 중 하나라도 사용자가 필요로 하는 것 이상일 수 있다고 그는 말했습니다. 시니안은 "좀 더 세밀하게 할당할 수 있다"며 "그래서 100명의 사용자가 한 번에 [단일 GPU]를 사용할 수 있을 것"이라고 말했다.

두 번째 요점에서, Zhang은 대부분의 칩이 가능한 한 많이 사용되는 경우가 거의 없다고 지적했습니다. 메모리 및 디스크 액세스 시간, 대역폭 제약과 같은 다양한 요인으로 인해 GPU의 사용률이 50% 미만인 경우가 있으며 이는 낭비입니다. 때로는 10%까지 낮다고 Zhang은 지적했습니다.

Zhang은 "칩을 메모리에 연결하는 8개의 PCIe 슬롯이 있는 하나의 시스템을 사용했다면 네트워크가 병목 현상을 일으키기 때문에 리소스의 50% 미만을 사용하게 될 것"이라고 말했습니다.네트워킹 문제를 먼저 처리함으로써 "이 제출에서 훨씬 더 높은 사용률을 달성할 수 있습니다."

어쩌면 그만큼 중요한 것은 기계가 점점 더 많은 칩으로 확장됨에 따라 단일 상자의 전력 소비가 골치 아픈 문제가 되었다는 것입니다. Zhang은 GPU의 경우 "마더보드에 32개의 슬롯을 구축할 수 있다고 가정하면 동일한 결과를 얻을 수 있지만 마더보드에 32개의 PCIe 슬롯을 사용하면 전원 공급이 3배가 됩니다"라고 설명했습니다.

그는 이것이 그린 컴퓨팅을 달성하려는 시도에 관한 한 큰 문제라고 말했다. 

세 번째 문제인 경제성은 알리바바 고객들이 인스턴스를 구매하는 방법과 관련이 있습니다. Zhang은 "우리는 GPU뿐만 아니라 많은 장치를 보유하고 있으며 모든 장치를 활용하기를 원하기 때문에 이는 우리에게 중요합니다"라고 말했습니다. "고객들은 최신 칩을 사용하고 싶다고 말하지만, 그것이 정확히 필요한 것이 아닐 수 있으므로 우리는 A100 [GPU]뿐만 아니라 이전 기술을 포함하여 풀의 모든 것을 사용자가 사용할 수 있도록 하고 싶습니다."

"우리가 그들의 문제를 해결하고, 그들에게 더 많은 경제적 자원을 제공하는 한, 이것은 아마도 우리 고객들을 위해 더 많은 돈을 절약할 것입니다 - 그것이 기본적으로 우리가 이 일을 하는 주된 동기입니다."

알리바바의 작업에 대해 더 자세히 알고 싶다면, 장이 컴퓨터 아키텍처에 관한 국제 심포지엄(International Symposium on Computer Architecture)에서 강연을 하기 위해 6월에 사용했던 슬라이드 데크부터 시작하는 것이 좋다.

알리바바의 연구가 특히 흥미로운 이유는 한동안 컴퓨터 네트워킹 분야의 전문가들이 근거리 통신망 뒤에 있는 두 번째 네트워크, 즉 딥 러닝의 막대한 대역폭 수요를 위한 일종의 전용 AI 네트워크에 대해 이야기해 왔기 때문입니다.

그런 의미에서 알리바바의 네트워크 제출과 뉴럴 매직의 희소성은 모두 메모리 액세스와 대역폭이라는 매우 중요한 문제를 다루고 있으며, 이 분야의 많은 사람들은 컴퓨팅 부분 자체보다 딥 러닝에 훨씬 더 큰 장애물이라고 말합니다.