Cerebras는 2,700만 개의 AI '코어'를 갖춘 거대한 컴퓨터 시스템을 구축했습니다.

Condor Galaxy는 Cerebras와 Abu Dhabi의 G42 파트너십의 첫 번째 단계로, 여러 대륙에 걸쳐 클러스터링된 시스템을 통해 궁극적으로 수억 달러의 수익을 창출할 것으로 예상됩니다.

Cerebras의 공동 창립자이자 CEO인 Andrew Feldman이 파트너 Colovore의 캘리포니아주 산타클라라 호스팅 시설에 설치되기 전에 CS-2 시스템용 포장 상자 위에 서 있는 모습입니다.

AI 컴퓨팅의 공동 창립자이자 CEO인 앤드류 펠드먼(Andrew Feldman)은 인공 지능을 둘러싼 열광이 "실리콘 밸리만의 일도 아니고 미국만의 일도 아니며 이제 전 세계에 퍼져 있는 세계적인 현상"이라고 말했습니다. Cerebras Systems를 시작합니다.

이러한 정신으로 Cerebras는 목요일에 아부다비에 본사를 둔 5년 된 투자 회사인 G42를 대신하여 Condor Galaxy라는 이름의 "세계 최대 AI용 슈퍼컴퓨터"를 구축하기로 계약했다고 발표했습니다. 아랍에미리트.

기계는 신경망 설정, "매개변수" 또는 "가중치"를 두 번째 단계에 충분한 수준으로 조정해야 하는 기계 학습의 일부인 신경망의 "훈련"에 중점을 둡니다. , 예측을 하는 단계를 '추론' 단계라고 합니다.

Condor Galaxy는 Cerebras와 G42 간의 수개월 간의 협력의 결과이며 전략적 파트너십에 대한 첫 번째 주요 발표라고 Feldman은 말했습니다.

Feldman은 인터뷰에서 ZDNET과의 인터뷰에서 초기 계약의 가치가 Cerebras에 수억 달러 이상이라고 말했습니다. Cerebras가 Condor Galaxy를 여러 단계로 구축함에 따라 이는 궁극적으로 여러 배, 수억 달러의 수익으로 확장될 것입니다.

콘도르 은하(Condor Galaxy)는 지구에서 2억 1200만 광년 떨어진 곳에 위치한 우주 시스템의 이름을 따서 명명되었습니다. CG-1이라고 불리는 초기 구성에서 이 기계는 Cerebras의 특수 목적 AI 컴퓨터 32대인 CS-2로 구성되어 있으며, 이 컴퓨터의 칩인 "Wafer-Scale-Engine"(WSE)은 총체적으로 2,700만 개의 컴퓨팅 코어, 41테라바이트의 메모리, 초당 194조 비트의 대역폭. 이는 AMD의 EPYC x86 서버 프로세서 36,352개에 의해 감독됩니다.

32대의 CS-2 기계는 CG-1로 함께 네트워크로 연결되었습니다.

이 기계는 2엑사플롭으로 실행됩니다. 즉, 초당 10억 개의 부동 소수점 연산을 처리할 수 있습니다.

이번 거대화는 노련한 반도체 및 네트워킹 기업가와 혁신가들이 2016년에 설립한 Cerebras의 거대화의 최신 사례입니다. 이 회사는 2019년에 지금까지 만들어진 것 중 가장 큰 칩인 WSE를 공개하여 전 세계를 놀라게 했습니다. 이 칩은 12인치 반도체 웨이퍼의 거의 전체 표면을 차지합니다. CS-2 시스템에 전력을 공급하는 것은 2021년에 출시된 WSE-2입니다.

CG-1의 CS-2는 Cerebras의 특수 목적 "패브릭" 스위치인 Swarm-X와 CS-2를 함께 클러스터링하는 데 사용되는 전용 메모리 허브인 Memory-X로 보완됩니다.

AI 컴퓨터의 크기에 대한 일반적인 등록이 없기 때문에 AI를 위한 가장 큰 슈퍼컴퓨터라는 주장은 다소 과장된 것입니다. Prometeus GmbH가 관리하는 슈퍼컴퓨터의 공통 척도인 TOP500 목록은 소위 고성능 컴퓨팅에 사용되는 기존 슈퍼컴퓨터 목록입니다.

Feldman은 이러한 기계가 64비트 정밀도로 작동하기 때문에 비교할 수 없다고 말했습니다. 여기서 각 피연산자, 즉 컴퓨터에서 작업할 값은 64비트로 컴퓨터에 표시됩니다. Cerebras 시스템은 각 시스템에 대해 16비트만 사용하여 "FP-16"이라는 더 간단한 형식으로 데이터를 나타냅니다.

64비트 정밀급 머신에서 미국 에너지부 오크리지 국립연구소(Oak Ridge National Laboratory)의 슈퍼컴퓨터인 Frontier는 1.19 엑사플롭(exa-flops)으로 실행되는 세계에서 가장 강력한 슈퍼컴퓨터입니다. 그러나 2엑사플롭에서는 CG-1과 직접 비교할 수 없다고 Feldman은 말했습니다.

확실히, CG-1의 순수한 계산은 우리가 생각할 수 있는 지구상의 많은 컴퓨터와는 다릅니다. Feldman은 "50만 대의 Apple MacBook이 함께 작동하여 단일 문제를 실시간으로 해결하는 것보다 더 많은 컴퓨팅 성능을 갖춘 단일 컴퓨터를 생각해 보십시오."라고 제안했습니다.

Condor Galaxy 시스템은 물리적으로 아부다비에 있는 것이 아니라 Equinix와 같이 클라우드 서비스 시장에서 경쟁하는 호스팅 제공업체인 캘리포니아주 산타클라라에 본사를 둔 Colovore의 시설에 설치됩니다. Cerebras는 이전에 대규모 언어 모델의 속도를 높이기 위해 'Andromeda'라는 모듈형 슈퍼컴퓨터에 대해 Colovore와 파트너십을 맺었다고 지난 11월 발표한 바 있습니다.

1단계 CG-1의 통계

2단계의 CG-1 통계

Feldman은 다년간의 파트너십의 일환으로 Condor Galaxy는 CG-9 버전을 통해 확장할 것이라고 말했습니다. 올해 4분기까지 예상되는 파트너십 2단계에서는 CG-1의 설치 공간을 CS-2 64개로 두 배로 늘리고, 총 5,400만 개의 컴퓨팅 코어, 82테라바이트의 메모리, 388테라플롭스의 대역폭을 갖추게 됩니다. 해당 머신은 처리량을 4엑사플롭의 컴퓨팅으로 두 배로 늘립니다.

2024년 하반기에 제공될 파트너십 4단계에서 Cerebras는 각각 4엑사플롭에서 실행되는 9개의 상호 연결된 시스템의 "성상"을 하나로 묶을 것입니다. 전 세계 사이트에서 36엑사플롭의 용량을 사용하여 "세계에서 가장 큰 상호 연결된 AI 슈퍼컴퓨터"를 만들 수 있습니다.

Feldman은 "이것은 우리가 미국에서 G42를 위해 제작하고 있는 4개의 엑사플롭 머신 중 첫 번째입니다. 그리고 나서 우리는 전 세계에 6개를 더 구축하여 총 9개가 상호 연결된 4개의 엑사를 만들 예정입니다"라고 설명했습니다. -플롭 기계는 36개의 엑사플롭을 생산합니다."

이 기계는 Cerebras가 클러스터된 컴퓨터 시스템을 구축할 뿐만 아니라 고객을 위해 이를 운영하는 최초의 기계입니다. 결과적으로 파트너십을 통해 Cerebras는 다양한 수익 창출 경로를 확보하게 되었습니다.

Feldman은 파트너십의 다양한 단계를 거치면서 파트너십이 Cerebras의 G42에 대한 직접 판매로 수억 달러까지 확장될 것이라고 Feldman이 말했습니다.

"이 계약은 다른 모든 스타트업이 일생 동안 판매하고 합친 것보다 클 뿐만 아니라 현재의 1억 달러를 넘어서는 것이 아니라 그보다 2~3배 더 성장할 계획입니다."라고 그는 말했습니다. Samba Nova Systems 및 Graphcore를 포함한 경쟁 AI 스타트업을 암시합니다.

또한 "우리는 함께 클라우드를 통해 초과 용량을 재판매합니다."는 G42에서 사용하지 않는 CG-1의 용량을 Cerebras의 다른 고객에게 임대할 수 있다는 의미입니다. 그는 "이 파트너십은 분명히 우리 클라우드에 근본적으로 새로운 규모를 제공하므로 이제 우리는 전용 AI 슈퍼컴퓨터를 서비스로 추구할 수 있는 기회를 갖게 됐다"고 말했습니다.

즉, 클라우드 AI 컴퓨팅 용량을 원하는 사람은 누구나 "원한다면 하루, 일주일, 한 달 동안 세계에서 가장 큰 슈퍼컴퓨터 중 하나를 사용할 수 있습니다"라는 의미입니다.

AI에 대한 야망은 기계만큼이나 큰 것으로 보입니다. Feldman은 "앞으로 60일 동안 CG-1에서 훈련된 매우 흥미로운 모델을 발표할 것"이라고 말했습니다.

G42는 25개국에 약 22,000명의 직원을 두고 있으며 산하에 9개의 운영 회사를 두고 있는 글로벌 대기업이라고 Feldman은 말합니다. 회사의 G42 Cloud 자회사는 중동에서 가장 큰 지역 클라우드를 운영하고 있습니다.

G42 Cloud의 CEO인 Talal Alkaissi는 준비된 연설에서 "G42와 Cerebras의 공유 비전은 Condor Galaxy가 의료, 에너지, 기후 행동 등 사회의 가장 시급한 과제를 해결하는 데 사용될 것이라는 것입니다."라고 말했습니다.

G42와 동료 Abu Dhabi 투자 회사 Mubadala Investments 간의 합작 투자 회사입니다. Co., M42는 세계 최대의 게놈 시퀀서 중 하나입니다.

G42의 Feldman은 "그들은 유럽과 중동 전역에서 AI 및 의료 애플리케이션 사용의 일종의 선구자입니다."라고 말했습니다. 이 회사는 지난 3년간 300편의 AI 출판물을 제작했습니다.

Feldman은 "그들(G42)은 매우 큰 AI 슈퍼컴퓨터를 구축한 경험이 있고, 큰 AI 모델을 개발 및 구현한 경험이 있고, 매우 큰 데이터 세트를 조작하고 관리한 경험이 있는 사람을 원했습니다."라고 Feldman은 말했습니다. , 우리는 지난 9개월 동안 정말 갈고 닦았습니다."

Feldman은 CG-1 시스템이 필요한 추가 코드 양을 여러 배로 늘리지 않고도 점점 더 큰 신경망 모델로 확장될 수 있다고 강조했습니다.

Feldman은 "이 기술의 핵심 요소 중 하나는 G42와 같은 고객과 그 고객이 우리 기계의 이점을 신속하게 얻을 수 있다는 것입니다."라고 말했습니다.

슬라이드 프레젠테이션에서 그는 OpenAI의 GPT와 같은 10억 매개변수의 신경망을 1,200줄의 코드로 단일 Nvidia GPU 칩에 넣을 수 있는 방법을 강조했습니다. 그러나 신경망을 28,415개의 Nvidia GPU에서 실행되는 400억 개의 매개변수 모델로 확장하려면 배포하는 데 필요한 코드의 양이 거의 30,000줄에 달한다고 Feldman은 말했습니다.

그러나 CS-2 시스템의 경우 1,000억 개의 매개변수 모델을 동일한 1,200줄의 코드로 실행할 수 있습니다.

Cerebras는 Nvidia의 GPU를 연결하는 데 필요한 코드의 폭발적인 증가에 비해 동일한 양의 코드를 사용하여 점점 더 큰 신경망 모델로 확장할 수 있다고 주장합니다.

Feldman은 "400억 또는 1000억 개의 매개변수 또는 5000억 개의 매개변수 모델을 입력하려는 경우 정확히 동일한 1,200줄의 코드를 사용합니다."라고 설명했습니다. "이것이 정말 핵심적인 차별화 요소입니다. 이 작업을 수행할 필요가 없다는 것입니다."라고 그는 말했습니다.

Feldman의 경우 최신 창작물의 규모는 그 자체로 큰 것뿐만 아니라 가장 큰 칩에서 가장 큰 클러스터 시스템으로 확장하여 질적으로 다른 결과를 얻으려는 시도를 나타냅니다.

"우리가 회사를 시작했을 때 여러분은 멋진 컴퓨터를 만들면 세상을 바꾸는 데 도움이 될 수 있다고 생각했습니다."라고 Feldman은 회상했습니다. "그리고 지난 7년 동안 우리는 점점 더 크고 더 큰 컴퓨터를 만들었고, 그중 일부는 가장 큰 컴퓨터도 만들었습니다.

"이제 우리는 상상할 수 없을 정도로 큰 규모의 건물을 짓는 길에 들어서 있습니다. 데이터 센터를 거닐면서 장비가 윙윙거리는 모습을 볼 수 있다는 것은 정말 멋진 일입니다."