OpenAI의 o3는 아직 AGI는 아니지만 다른 AI가 하지 못한 작업을 수행했을 뿐입니다.

새로운 AI 모델은 'GPT 시리즈와는 전혀 다른 일을 하고 있다'.

Sam Altman과 OpenAI의 대리인이 ARC-AGI 테스트에서 새로운 o3 모델의 성능에 대해 논의합니다.

OpenAI의 최신 대규모 언어 모델은 아직 출시되지 않았지만 우리는 이미 그것이 무엇을 할 수 있고 무엇을 할 수 없는지 알 수 있는 몇 가지 방법을 가지고 있습니다.

OpenAI의 'o3' 릴리스는 12월 20일 비디오 정보 광고 형식으로 공개되었습니다. 즉, 회사 외부의 대부분의 사람들은 이것이 실제로 무엇을 할 수 있는지 전혀 모릅니다. (외부 안전 테스트 당사자에게는 조기 액세스 권한이 부여됩니다.)

영상에는 다양한 벤치마크 성과에 대한 많은 논의가 담겨 있었지만, OpenAI 공동 창립자이자 CEO인 Sam Altman이 영상에서 전하는 메시지는 매우 간단했습니다. 그의 가장 크고 모호한 말은 o3가 "놀라울 정도로 똑똑한 모델이다"라는 것이었습니다.

ARC-AGI는 o3를 테스트했습니다.

OpenAI는 1월 말에 o3의 "미니" 버전을 출시하고 그 이후 정식 버전을 출시할 계획이라고 Altman은 말했습니다.

그러나 한 외부인은 어떤 의미에서는 o3를 시험해 볼 기회를 가졌습니다.

이 경우 테스트를 "인공 일반 지능을 위한 추상화 및 추론 코퍼스"(ARC-AGI)라고 합니다. 새로운 벤치마크인 '지능형 시스템을 위한 과제'를 모아놓은 것입니다. ARC-AGI는 "참신함에 대한 적응성을 측정하기 위해 특별히 설계된 유일한 벤치마크"로 평가됩니다. 이는 단지 암기된 지식의 활용이 아니라 새로운 기술 습득을 테스트하기 위한 것임을 의미합니다.

일반 인공지능(AI)인 AGI는 AI 분야에서 성배, 즉 인간 지능과 같거나 그 이상의 수준의 기계 지능을 달성하는 것으로 간주됩니다. ARC-AGI의 아이디어는 AI를 "보다 지능적이고 인간과 유사한 인공 시스템"으로 안내하는 것입니다.

o3 모델은 OpenAI와 ARC-AGI의 저자이자 Google 인공지능 부서의 과학자인 François Chollet이 공식적으로 조정한 평가에서 ARC-AGI에 대해 76%의 정확도를 기록했습니다.

AI 역량의 변화

ARC-AGI 웹사이트에서 Chollet은 지난 주 76%의 점수는 AI가 시험에서 인간의 점수를 이긴 첫 번째 사례라고 썼습니다. 평균적으로 75%가 조금 넘는 정확도를 기록했습니다.

ARC-AGI의 발명가인 François Chollet는 o3에서 진행되는 활동의 양을 보면 O3가 이전 GPT-4와는 완전히 다른 아키텍처를 사용하고 있음을 시사한다고 말합니다.

Chollet은 높은 점수가 "AI 기능의 놀랍고 중요한 단계적 기능 증가로, 이전에는 GPT 제품군 모델에서 볼 수 없었던 새로운 작업 적응 능력을 보여준다"고 썼습니다. 그는 "AI 기능에 대한 모든 직관은 o3에 맞게 업데이트되어야 할 것"이라고 덧붙였습니다.

이번 성과는 "진정한 돌파구"이자 "AI 역량의 질적 변화"를 의미한다고 Chollet은 선언했습니다. Chollet은 o3의 "이전에는 경험하지 못한 작업에 적응하는" 능력이 "상당히 짧은 시간 내에 인간의 작업과 경쟁할 수 있도록 이러한 기능을 계획해야 한다"는 것을 의미한다고 예측합니다.

촐레의 발언은 주목할 만하다. 그는 AI의 치어리더가 된 적이 없기 때문이다. 2019년 ARC-AGI를 만들었을 때 그는 ZDNET과의 인터뷰에서 AI 회사의 "과격한 언론 기사"가 꾸준히 흘러나와 "인간 수준의 AI가 아마도 몇 년은 더 걸릴 것이라는 잘못된 암시를 준다"고 말했습니다. 그는 그러한 과장법을 "환상"이라고 생각했습니다.

ARC-AGI 질문은 사람들이 이해하기 쉽고 풀기도 매우 쉽습니다. 각 챌린지는 3~5개의 질문 예와 정답을 보여줍니다. 그런 다음 응시자에게 비슷한 질문이 제시되고 누락된 답변을 제공하라는 요청을 받습니다.

ARC-AGI의 기본 형태는 질문과 답변을 나타내는 입력 및 출력의 3~5개 예를 갖고 올바른 출력 그림을 제공하여 답변을 제공해야 하는 최종 입력 예를 갖는 것입니다. 인간이 규칙 자체를 명확하게 설명할 수 없더라도 컬러 픽셀을 탭하여 어떤 그림을 생성할지 파악하는 것은 매우 쉽습니다.

질문은 텍스트 기반이 아니라 그림으로 구성됩니다. 색상이 지정된 모양의 픽셀 격자가 먼저 표시된 다음 어떤 방식으로든 변경된 두 번째 버전이 표시됩니다. 문제는 첫 번째 그림을 두 번째 그림으로 바꾸는 규칙이 무엇입니까?

즉, 이 과제는 대규모 언어 모델의 유명한 영역인 자연어에 직접적으로 의존하지 않습니다. 대신 시각적 영역에서 추상 패턴 공식을 테스트합니다.

ARC-AGI를 직접 사용해 보세요

Chollet의 챌린지 웹사이트에서 ARC-AGI를 직접 시험해 볼 수 있습니다. 빈 그리드에 "그리기"로 문제에 답하고 각 픽셀을 올바른 색상으로 채워 "답변"으로 올바른 색상 픽셀 그리드를 만듭니다.

스도쿠나 테트리스 게임을 하는 것보다 재미있습니다. 규칙이 무엇인지 구두로 명확하게 설명할 수 없더라도 솔루션을 생성하기 위해 어떤 상자에 색상을 지정해야 하는지 꽤 빨리 알아낼 가능성이 있습니다. 가장 시간이 많이 걸리는 부분은 실제로 그리드의 각 픽셀을 탭하여 색상을 할당하는 것입니다.

정답을 맞히면 웹페이지에 색종이 던지기 애니메이션과 "ARC Prize Daily Puzzle을 풀었습니다. 당신은 여전히 AI보다 (일반적으로) 지능이 높습니다."라는 메시지가 표시됩니다.

o3 또는 다른 모델이 테스트를 수행할 때 픽셀에 직접적으로 영향을 미치지 않습니다. 대신에, 이에 상응하는 것은 대답으로서 다른 행렬로 변환되어야 하는 숫자의 행과 열의 행렬로 기계에 공급됩니다. 따라서 AI 모델은 인간과 같은 방식으로 테스트를 "보지" 않습니다.

아직 명확하지 않은 점

o3의 성과에도 불구하고 o3의 역량에 대해 명확하게 설명하기는 어렵습니다. OpenAI의 모델은 비공개 소스이기 때문에 모델이 문제를 어떻게 해결하고 있는지 아직 명확하지 않습니다.

OpenAI의 일부가 아닌 Chollet은 o3가 수행하는 작업을 어떻게 수행하는지 추측해야 합니다.

그는 이 성과가 OpenAI가 o3의 "아키텍처"를 이전 제품의 아키텍처와 변경한 결과라고 추측합니다. AI의 아키텍처는 코드에 구조를 부여하는 기능적 요소의 배열과 관계를 나타냅니다.

Chollet은 블로그에서 "테스트 시간에 모델은 AlphaZero 스타일의 Monte Carlo 트리 검색과 크게 다르지 않은 방식으로 작업을 해결하는 데 필요한 단계를 설명하는 가능한 CoT(사상 사슬) 공간을 검색합니다."라고 추측합니다.

사고 사슬이라는 용어는 AI 모델이 최종 답을 찾기 위해 수행하는 계산 순서를 자세히 설명할 수 있는 생성 AI에서 점점 인기를 얻고 있는 접근 방식을 의미합니다. AlphaZero는 2016년 체스에서 인간을이긴 Google의 DeepMind 장치의 유명한 AI 프로그램입니다. 몬테카를로 트리 검색(Monte Carlo Tree Search)은 수십 년 된 컴퓨터 과학 접근 방식입니다.

이메일 교환에서 Chollet은 자신의 생각에 대해 좀 더 이야기했습니다. 나는 그에게 생각의 사슬을 탐색한다는 아이디어에 어떻게 도달했는지 물었습니다. "모델이 몇 시간 동안 '생각'하고 단일 퍼즐을 해결하는 과정에서 수백만 개의 토큰을 생성하는 것은 분명히 일종의 검색을 수행하는 것임에 틀림없습니다."라고 Chollet이 대답했습니다.

Chollet 님이 추가했습니다:

모델의 지연 시간/비용 특성으로 볼 때 GPT 시리즈와 완전히 다른 작업을 수행하고 있다는 것은 완전히 명백합니다. 그것은 동일한 아키텍처도 아니고 실제로 원격으로 가까운 것도 아닙니다. 새로운 시스템을 정의하는 요소는 엄청난 양의 테스트 시간 검색입니다. 이전에는 동일한 아키텍처(GPT 시리즈)를 4년 동안 확장했지만 ARC에서는 아무런 진전이 없었습니다. 이제 분명히 새로운 아키텍처를 갖춘 이 시스템은 기능의 단계적 기능 변경을 생성하므로 아키텍처가 전부입니다.

여기에는 여러 가지 주의 사항이 있습니다. OpenAI는 ARC-AGI를 해결하기 위해 o3 버전 중 하나에 얼마나 많은 비용이 지출되었는지 공개하지 않았습니다. ARC-AGI의 한 가지 기준은 GPU 칩을 AI 모델 "효율성"의 프록시로 사용하는 데 드는 실제 비용이기 때문에 이는 중요한 누락입니다.

Chollet은 이메일에서 o3의 접근 방식이 "무차별 대입" 접근 방식에 해당하지 않는다고 말했지만 "물론 무차별 대입을 '간단한 문제에 과도한 양의 계산을 던지는 것'으로 정의할 수도 있습니다. ' 그렇다면 그것은 무차별적인 폭력이라고 말할 수 있습니다.

또한 Chollet은 o3이 대회 훈련 데이터 세트를 사용하여 ARC-AGI 테스트를 받도록 훈련받았다고 지적합니다. 이는 시험 준비가 없는 클린 버전의 o3가 시험에 어떻게 접근할지 아직 명확하지 않다는 것을 의미합니다.

Chollet은 이메일을 통해 "ARC 관련 정보 없이 기본 시스템의 점수를 확인하는 것은 흥미로울 것입니다. 그러나 어떤 경우에도 시스템이 훈련 세트를 통해 ARC에 맞게 미세 조정되었다는 사실이 성능을 무효화하지는 않습니다"라고 말했습니다. . 이것이 바로 훈련 세트의 목적입니다. 지금까지는 수백만 개의 ARC 작업을 훈련한 후에도 비슷한 점수를 얻을 수 없었습니다."

o3는 몇 가지 쉬운 작업에서 여전히 실패합니다.

불확실성에도 불구하고 한 가지는 매우 분명해 보입니다. AGI를 열망하는 사람들은 실망할 것입니다. Chollet은 ARC-AGI 테스트가 "연구 도구"이며 "ARC-AGI 합격이 AGI 달성과 동일하지 않다"고 강조합니다.

"사실 나는 o3가 아직 AGI라고 생각하지 않습니다"라고 Chollet은 ARC-AGI 블로그에 썼습니다. "o3는 매우 쉬운 작업에서 여전히 실패하는데, 이는 인간 지능과 근본적인 차이가 있음을 나타냅니다."

우리가 아직 인간 수준의 지능에 도달하지 못했다는 것을 보여주기 위해 Chollet은 o3이 해결할 수 없는 ARC-AGI의 몇 가지 간단한 문제에 대해 언급합니다. 그러한 문제 중 하나는 단순히 색칠된 사각형을 주어진 양만큼 움직이는 것과 관련이 있습니다. 이 패턴은 인간에게 빠르게 명확해집니다.

o3 모델이 실패한 ARC-AGI의 문제 예입니다.