Google은 OpenAI를 따라 새로운 PaLM 2 AI 프로그램에 대해 거의 언급하지 않습니다.

OpenAI와 마찬가지로 검색 엔진 거대 기업은 AI 연구 분야에서 수십 년 동안 공개 출판을 이어왔습니다.

1년 전 Google 인공 지능 과학자들이 PaLM(Pathways Language Model)이라는 중요한 새 프로그램을 공개했을 때 그들은 프로그램 결과를 달성하는 데 사용된 중요한 새 AI 기술을 설명하는 기술 문서에 수백 단어를 썼습니다.

지난주 PaLM의 후속작인 PaLM 2를 소개하면서 Google은 거의 아무것도 공개하지 않았습니다. 92페이지로 구성된 '기술 보고서' 뒷면의 부록에 포함된 단일 표 항목에서 Google 학자들은 이번에는 세상에 아무 것도 말하지 않을 방법을 매우 간략하게 설명합니다.

PaLM-2 is a new state-of-the-art language model. We have small, medium, and large variants that use stacked layers based on the Transformer architecture, with varying parameters depending on model size. Further details of model size and architecture are withheld from external publication.

소위 PaLM 2의 아키텍처, 즉 프로그램이 구성되는 방식을 공개하는 것을 고의적으로 거부한 것은 이전 PaLM 논문과도 다를 뿐 아니라 대부분 AI 출판의 전체 역사와는 별개의 전환점이 됩니다. 오픈 소스 소프트웨어 코드를 기반으로 하며 일반적으로 프로그램 아키텍처에 대한 실질적인 세부 정보를 포함합니다.

이러한 전환은 지난 4월 최신 "생성 AI" 프로그램인 GPT-4의 세부 정보 공개를 거부하여 연구 커뮤니티를 놀라게 한 Google의 가장 큰 경쟁자 중 하나인 OpenAI에 대한 대응임이 분명합니다. 저명한 AI 학자들은 OpenAI의 놀라운 선택이 업계 전반의 정보 공개에 냉각 효과를 미칠 수 있다고 경고했으며, PaLM 2 논문은 그들이 옳을 수 있는 첫 번째 큰 신호입니다.

(PaLM 2의 새로운 요소를 요약한 블로그 게시물도 있지만 기술적 세부 사항은 없습니다.)

PaLM 2는 GPT-4와 마찬가지로 프롬프트에 응답하여 텍스트 클러스터를 생성할 수 있는 생성 AI 프로그램으로, 질문 답변 및 소프트웨어 코딩과 같은 다양한 작업을 수행할 수 있습니다.

OpenAI와 마찬가지로 Google은 AI 연구에서 수십 년간의 공개 출판 과정을 뒤집고 있습니다. The Transformer라는 획기적인 프로그램을 자세히 공개한 것은 2017년 Google 연구 논문 "Attention is all you need"였습니다. 이 프로그램은 많은 AI 연구 커뮤니티와 업계에서 자연어 처리 프로그램을 개발하기 위해 신속하게 채택되었습니다.

이러한 파생물 중에는 OpenAI가 가을에 공개한 ChatGPT 프로그램이 있는데, 이 프로그램은 ChatGPT에 대한 전 세계적인 관심을 불러일으켰습니다.

Ashish Vaswani를 포함한 해당 원본 논문의 저자 중 누구도 PaLM 2 저자로 나열되어 있지 않습니다.

어떤 의미에서 PaLM 2가 The Transformer의 후손이라는 점을 한 단락에서 공개하고 다른 어떤 것도 공개하지 않음으로써 회사의 연구자들은 해당 분야에 대한 기여와 공유 전통을 끝내려는 의도를 모두 분명히 하고 있습니다. 획기적인 연구.

나머지 문서에서는 사용된 훈련 데이터에 대한 배경과 프로그램이 빛나는 벤치마크 점수에 중점을 둡니다.

이 자료는 AI에 관한 연구 문헌을 통해 중요한 통찰력을 제공합니다. 즉, 기계 학습 프로그램을 훈련하는 데 사용되는 데이터의 양과 프로그램 규모 사이에 이상적인 균형이 있습니다.

저자는 훈련 데이터의 양에 비해 프로그램 크기의 적절한 균형을 찾아 PaLM 2 프로그램을 식단에 넣을 수 있었으며, 따라서 프로그램 자체는 원래 PaLM 프로그램보다 훨씬 작다고 썼습니다. 최근 AI의 추세가 정반대의 방향으로, 점점 더 큰 규모로 진행되고 있다는 점을 고려하면 이는 의미가 있어 보입니다.

저자들이 쓴 것처럼,

The largest model in the PaLM 2 family, PaLM 2-L, is significantly smaller than the largest PaLM model but uses more training compute. Our evaluation results show that PaLM 2 models significantly outperform PaLM on a variety of tasks, including natural language generation, translation, and reasoning. These results suggest that model scaling is not the only way to improve performance. Instead, performance can be unlocked by meticulous data selection and efficient architecture/objectives. Moreover, a smaller but higher quality model significantly improves inference efficiency, reduces serving cost, and enables the model's downstream application for more applications and users.

PaLM 2 작성자는 프로그램 크기와 훈련 데이터 양의 균형 사이에 최적의 지점이 있다고 말합니다. PaLM과 비교한 PaLM 2 프로그램은 저자가 단일 표에 요약한 바와 같이 벤치마크 테스트에서 정확도가 크게 향상되었음을 보여줍니다.

이러한 방식으로 그들은 지난 2년간 AI 프로그램 규모의 실제 연구를 관찰한 결과를 토대로 구축하고 있습니다.

예를 들어, 작년에 Google DeepMind의 Jordan Hoffman과 동료들이 널리 인용한 연구에서는 친칠라 경험 법칙으로 알려진 것을 만들었습니다. 이는 훈련 데이터의 양과 프로그램 크기의 균형을 맞추는 방법에 대한 공식입니다.

PaLM 2 과학자들은 Hoffman 및 팀과 약간 다른 수치를 제시했지만 이는 해당 논문이 말한 내용을 입증합니다. 그들은 단일 스케일링 테이블에서 Chinchilla 작업과의 결과를 정면으로 보여줍니다.

이러한 통찰력은 샌프란시스코에 본사를 둔 3년차 AI 스타트업인 Snorkel과 같은 젊은 기업의 노력과 일치합니다. Snorkel은 지난 11월 훈련 데이터 라벨링 도구를 공개했습니다. Snorkel의 전제는 데이터를 더 잘 큐레이션하면 발생해야 하는 컴퓨팅의 일부를 줄일 수 있다는 것입니다.

이러한 최적의 지점에 초점을 맞춘 것은 원래 PaLM과는 약간 다릅니다. 구글은 이 모델을 통해 구글의 TPU 컴퓨터 칩을 언급하며 "지금까지 훈련에 사용된 TPU 기반 시스템 구성 중 가장 큰 것"이라며 프로그램 훈련 규모를 강조했다.

이번에는 그런 자랑은 하지 않습니다. 새로운 PaLM 2 작업에서 공개된 것만큼 크기를 위한 크기에서 벗어나 규모와 능력을 보다 사려 깊게 처리하는 추세를 확인했다고 말할 수 있습니다.