Databricks의 13억 달러 규모 AI 스타트업 모자이크ML 인수는 데이터베이스의 미래를 위한 싸움입니다.

mosaicML은 인공 지능을 통해 데이터베이스가 무엇인지 재창조하기 위해 노력해 왔습니다.

Naveen Rao, [왼쪽] mosaicML 공동 창업자 겸 CEO, Hanlin Tang, 공동 창업자 겸 CTO. 회사의 교육 기술은 기업 데이터를 처리하기 위해 대규모 언어 모델을 보다 효율적으로 사용하는 '전문가 구축'에 적용되고 있습니다.

월요일, 샌프란시스코에 본사를 둔 10년 된 소프트웨어 제조업체인 데이터브릭스(Databricks)는 설립된 지 3년 된 샌프란시스코 기반 스타트업인 모자이크ML(MosaicML)을 실험실 너머로 AI를 확장하는 데 주력하고 있다고 발표했습니다.

이번 거래는 생성 인공 지능 시장의 자산에 대한 열광의 신호일 뿐만 아니라 현대 클라우드 데이터베이스 시장의 성격 변화를 나타내는 신호이기도 합니다.

반도체 베테랑으로 구성된 mosaicML은 OpenAI의 GPT와 같은 AI 프로그램의 표준 버전을 쉽고 저렴하게 가져와 해당 프로그램의 개발 속도를 획기적으로 높일 수 있는 Composer라는 프로그램을 구축했습니다. 신경망.

올해 회사는 기업이 유료로 신경망을 훈련하고 추론을 수행하여 사용자 쿼리에 응답하여 예측을 렌더링할 수 있는 클라우드 기반 상용 서비스를 도입했습니다.

그러나 mosaicML 접근 방식의 보다 심오한 요소는 기존 관계형 데이터베이스와 같은 데이터 작업의 전체 영역이 완전히 재창조될 수 있음을 의미합니다.

"신경망 모델은 실제로 거의 일종의 데이터베이스로 간주될 수 있습니다. 특히 생성 모델에 관해 이야기할 때 더욱 그렇습니다"라고 mosaicML의 공동 창립자이자 CEO인 Naveen Rao는 거래 전 인터뷰에서 ZDNET에 말했습니다.

"매우 높은 수준에서 데이터베이스란 일반적으로 매우 구조화된 엔드포인트 집합이므로 일반적으로 일종의 데이터의 행과 열로 구성되며, 해당 데이터를 기반으로 구성하는 스키마가 있습니다. "라고 라오는 설명했다.

Rao는 Oracle과 같은 전통적인 관계형 데이터베이스나 MongdoDB와 같은 문서 데이터베이스와는 달리 대규모 언어 모델을 사용하여 스키마가 미리 정해져 있는 경우 "스키마는 [데이터]에서 발견되고 잠재된 표현을 생성합니다."라고 말했습니다. 데이터를 기반으로 유연하게 사용할 수 있습니다." 또한 기존 데이터베이스를 지배하는 SQL과 같은 데이터베이스에 대한 고정 조회와 달리 쿼리도 유연합니다.

Rao는 "그래서 기본적으로 데이터베이스를 가져와서 입력, 스키마 및 출력에 대한 제약을 완화했지만 그것은 데이터베이스입니다."라고 덧붙였습니다. 더욱이 데이터베이스와 같은 대규모 언어 모델의 형태를 통해 기존의 구조화된 데이터 저장소에서는 처리할 수 없는 대규모 데이터 덩어리를 처리할 수 있습니다.

Rao는 "저는 작가가 쓴 수많은 책을 섭취할 수 있고, 그 책에 담긴 아이디어와 관계에 대해 질문할 수 있습니다. 이는 텍스트만으로는 할 수 없는 일입니다"라고 말했습니다.

LLM의 영리한 프롬프트를 사용하여 프롬프트 컨텍스트는 데이터베이스를 쿼리하는 유연한 방법을 제공합니다. Rao는 "올바른 방식으로 프롬프트를 표시하면 프롬프트에 의해 생성된 컨텍스트로 인해 무언가를 생성하게 될 것입니다."라고 설명했습니다. "그래서 원본 데이터의 측면을 쿼리할 수 있습니다. 이는 많은 것에 적용될 수 있는 꽤 큰 개념이며 이것이 실제로 이러한 기술이 매우 중요한 이유라고 생각합니다."

mosaicML 작업은 ChatGPT와 같은 소위 생성 AI 프로그램을 실제 비즈니스 목적에 더 적합하게 만들기 위한 광범위한 움직임의 일부입니다.

예를 들어, 샌프란시스코에 본사를 둔 3년차 AI 스타트업인 Snorkel은 기업이 소위 기초 모델(OpenAI의 GPT와 같이 존재하는 가장 큰 신경망)에 대한 레이블이 지정된 훈련 데이터를 자동으로 생성하는 함수를 작성할 수 있는 도구를 제공합니다. -4.

그리고 또 다른 스타트업인 OctoML은 지난 주 추론 서비스 작업을 원활하게 해주는 서비스를 공개했습니다.

Databricks의 인수로 mosaicML은 수년 동안 행과 열을 넘어 데이터 저장소의 패러다임을 바꿔온 활발한 비관계형 데이터베이스 시장에 진출하게 되었습니다.

여기에는 Hadoop의 데이터 레이크, 이를 작동하는 기술, 그리고 Databricks가 주요 지지자인 Apache Spark의 매핑 및 축소 패러다임이 포함됩니다. 시장에는 Confluent가 홍보하는 Apache Kafka 소프트웨어와 같이 데이터 저장이 어떤 의미에서 "동작 중인 데이터"라고 알려진 데이터 자체의 흐름에 있을 수 있는 스트리밍 데이터 기술도 포함됩니다.

거래 전에 6,400만 달러를 모금한 mosaicML은 ChatGPT 형식의 일반 사용자가 아니라 Rao가 "빌딩 전문가"라고 부르는 도메인별 비즈니스 사용 사례에 더 초점을 맞춘 언어 모델을 가진 기업에 어필했습니다.

생성 AI를 포함한 인공 지능의 일반적인 추세는 비디오 게임 플레이부터 채팅 참여, 시 쓰기, 사진 캡션 추가, 코드 작성에 이르기까지 모든 종류의 영역에서 작업을 처리할 수 있는 점점 더 일반적인 프로그램을 구축하는 것이었습니다. , 심지어 블록을 쌓는 로봇 팔을 제어하기도 합니다.

ChatGPT에 대한 열광은 이러한 광범위한 프로그램이 수많은 요청을 처리하기 위해 활용될 수 있을 때 얼마나 매력적인지 보여줍니다.

그러나 개인과 기관의 실제 AI 사용은 훨씬 더 효율적일 수 있기 때문에 훨씬 더 집중적인 접근 방식이 지배할 가능성이 높습니다.

Rao는 ZDNET에 "특정 도메인에 대해 더 큰 모델보다 성능이 훨씬 뛰어난 더 작은 모델을 구축할 수 있습니다"라고 말했습니다.

mosaicML은 신경망이 얼마나 빨리 훈련될 수 있는지 보여주는 MLPerf 벤치마크 테스트에서 뛰어난 성능을 입증함으로써 성능 성과로 명성을 얻었습니다. AI 속도를 높이는 비결 중 하나는 더 집중적으로 구축된 더 작은 신경망이 더 효율적일 수 있다는 관찰입니다.

이 아이디어는 MIT 과학자 조나단 프랭클(Jonathan Frankle)과 마이클 카빈(Michael Carbin)이 그 해 국제 학습 표현 회의(International Conference on Learning Representations)에서 최우수 논문상을 수상한 2019년 논문에서 광범위하게 탐구되었습니다. 이 논문에서는 모든 대규모 신경망이 전체 네트워크만큼 정확하면서도 컴퓨팅 노력을 덜 들일 수 있는 "하위 네트워크"를 포함한다는 개념인 "복권 가설"을 소개했습니다.

Frankle과 Carbin은 mosaicML의 고문이었습니다.

또한 mosaicML은 훈련 데이터의 양과 신경망의 크기 사이에 최적의 균형이 있음을 보여주는 Google의 DeepMind 장치에서 탐색한 기술을 명시적으로 활용합니다. 훈련 데이터의 양을 두 배까지 늘리면 동일한 유형의 더 큰 네트워크보다 작은 네트워크를 훨씬 더 정확하게 만드는 것이 가능합니다.

이러한 모든 효율성은 Rao가 네트워크 속도 향상에 대한 일종의 무어의 법칙이라고 부르는 것으로 요약됩니다. 무어의 법칙은 동일한 가격으로 칩에 들어가는 트랜지스터의 양이 18개월마다 두 배로 증가한다는 반도체 경험 법칙입니다. 이것이 바로 PC 혁명에 이어 스마트폰 혁명을 가능하게 한 경제적 기적이다.

Rao 버전에서는 모자이크ML 컴포저(MosaicML Composer) 도구로 스마트 컴퓨팅 기술을 적용하기만 하면 신경망이 모든 세대에서 4배 더 빨라질 수 있습니다.

이러한 접근 방식에서 몇 가지 놀라운 통찰력이 나옵니다. 하나, AI의 머신러닝 형태에는 엄청난 양의 데이터가 필요하다는 자주 반복되는 문구와는 달리, DeepMind 작업과 같이 데이터와 모델의 최적 균형에 적용하면 더 작은 데이터 세트가 잘 작동할 수도 있습니다. 즉, 정말 빅데이터는 더 나은 데이터가 아닐 수도 있습니다.

인터넷의 모든 것에 대해 훈련된 GPT-3와 같은 거대한 일반 신경망과 달리 소규모 네트워크는 해당 도메인에 대한 회사의 고유한 지식의 저장소가 될 수 있습니다.

Rao는 "우리 인프라는 사람들의 데이터에 이러한 유형의 네트워크를 구축하기 위한 백엔드가 됩니다."라고 설명했습니다. "그리고 사람들이 자신만의 모델을 만들어야 하는 데에는 다 이유가 있습니다."

"당신이 Bank of America이거나 정보 기관이라면 GPT-3를 사용할 수 없습니다. 왜냐하면 Reddit에서 훈련되었기 때문입니다. 개인 식별 정보를 포함할 수 있는 많은 것들이 훈련되었기 때문입니다. 명시적으로 사용이 허용되지 않은 것들입니다."라고 Rao는 말했습니다.

이러한 이유로 mosaicML은 고객이 데이터에 어떤 종류의 프로그램이 작동하는지 알 수 있도록 대규모 언어 모델의 오픈 소스 모델을 제공하려는 노력의 일부였습니다. 이는 Stability.ai 창립자이자 CEO인 Emad Mostaque와 같은 생성 AI 분야의 다른 리더들이 공유하는 견해입니다. 그는 지난 5월 ZDNET에 기업을 포함하여 세계에서 가장 가치 있는 데이터에 대해 "블랙박스 모델을 사용할 수 있는 방법은 없습니다"라고 말했습니다. 데이터.

지난 목요일에 mosaicML은 MPT-30B라고 불리는 300억 개의 매개변수 또는 신경 가중치를 포함하는 언어 모델의 최신 버전을 오픈 소스로 출시했습니다. 회사는 MPT-30B가 OpenAI의 GPT-3 품질을 능가한다고 주장합니다. 회사가 5월 초 오픈 소스 언어 모델을 도입한 이후 언어 모델 다운로드가 200만 건을 넘었다고 밝혔습니다.

자동으로 스키마를 발견하는 것이 데이터베이스 혁신에 도움이 될 수 있지만 대규모 언어 모델에는 프로그램이 실제라고 주장하면서 잘못된 답변을 생성하는 환각과 같은 문제가 여전히 있다는 점을 명심하는 것이 중요합니다.

Rao는 "사람들은 실제로 ChatGPT에 뭔가를 물어보면 그것이 여러 번 정확하지 않고 때로는 정말 훌륭한 아티스트처럼 너무 정확하게 들리는 것을 이해하지 못합니다."라고 말했습니다.

"데이터베이스는 절대적인 정확성과 예측 가능성을 기대합니다." 이는 "지난 30, 40년 동안 데이터베이스 공간에서 엔지니어링된 많은 것들이 사실이거나 적어도 대부분 사실이어야 하는 것"을 기반으로 합니다. 새로운 방법을 모색 중입니다."라고 Rao는 말했습니다.

기업에 관심을 갖고 있는 Rao는 "사람들은 자신들이 겪었던 모든 문제를 해결할 수 있는 것처럼 [대규모 언어 모델]을 보고 있습니다."라고 말했습니다. "실제로 거기에 도달하는 데 필요한 기본 사항을 알아봅시다."