OpenAI의 o1-미리보기 코드는 얼마나 잘 작동합니까? 4가지 테스트를 통과했으며 놀라울 정도로 세부적인 작업을 보여주었습니다.

OpenAI의 가장 발전된 AI 모델이 프로그래밍에 도움이 될 수 있습니까? 제가 테스트를 하다가 발견한 내용은 다음과 같습니다.

일반적으로 소프트웨어 회사가 5월에 주요 새 릴리스를 출시할 때 4개월 후에 또 다른 주요 새 릴리스를 내놓으려고 하지 않습니다. 그러나 AI 비즈니스의 혁신 속도에는 일반적이지 않습니다.

OpenAI는 5월 중순에 새로운 전능한 GPT-4o 모델을 출시했지만 회사는 매우 바빴습니다. 작년 11월까지 Reuters는 OpenAI가 당시 Q*로 알려진 차세대 언어 모델을 개발하고 있다는 소문을 발표했습니다. 그들은 5월에 해당 보고서를 두 배로 강조하여 Q*가 Strawberry라는 코드명으로 작업 중이라고 밝혔습니다.

Strawberry는 실제로 o1-preview라는 모델로, 이제 ChatGPT Plus 가입자에게 옵션으로 제공됩니다. 선택 드롭다운에서 모델을 선택할 수 있습니다.

여러분이 상상할 수 있듯이 새로운 ChatGPT 모델을 사용할 수 있다면 그 속도를 시험해 보겠습니다. 그게 바로 제가 여기서 하고 있는 일입니다.

새로운 Strawberry 모델은 추론에 중점을 두고 프롬프트와 문제를 단계적으로 분류합니다. OpenAI는 각 답변 앞에 표시될 수 있는 추론 요약을 통해 이러한 접근 방식을 보여줍니다.

o1-preview에 질문을 하면 몇 가지 생각을 한 다음 해당 생각을 하는 데 걸린 시간을 표시합니다. 드롭다운을 전환하면 몇 가지 추론을 볼 수 있습니다. 다음은 내 코딩 테스트 중 하나의 예입니다.

AI가 오류 처리를 추가할 만큼 충분히 알고 있다는 점은 좋지만, o1-preview가 해당 단계를 "규정 준수"로 분류한다는 점이 흥미롭습니다.

나는 또한 o1-preview 모델이 코드 다음에 더 많은 설명을 제공한다는 것을 발견했습니다. WordPress 플러그인을 생성한 첫 번째 테스트에서 모델은 헤더, 클래스 구조, 관리 메뉴, 관리 페이지, 로직, 보안 조치, 호환성, 설치 지침, 운영 지침 및 테스트 데이터에 대한 설명을 제공했습니다. 이는 이전 모델에서 제공한 정보보다 훨씬 더 많은 정보입니다.

하지만 실제로 그 증거는 푸딩에 있습니다. 이 새로운 모델을 표준 테스트에 적용하고 얼마나 잘 작동하는지 살펴보겠습니다.

1. WordPress 플러그인 작성

이 간단한 코딩 테스트에는 PHP 프로그래밍 언어와 WordPress 프레임워크에 대한 지식이 필요합니다. 이 과제는 AI에게 인터페이스 코드와 기능적 논리를 모두 작성하도록 요청하며, 반전은 중복 항목을 제거하는 대신 중복 항목을 분리하여 서로 옆에 있지 않도록 해야 한다는 점입니다.

o1-preview 모델이 뛰어났습니다. 먼저 UI를 입력 필드로 표시했습니다.

데이터를 입력하고 Randomize Lines(라인 무작위화)를 클릭하면 AI가 적절하게 무작위화된 출력 데이터가 있는 출력 필드를 생성했습니다. Abigail Williams가 어떻게 복제되었는지 확인할 수 있으며 테스트 지침에 따라 두 항목이 나란히 나열되지 않습니다.

다른 LLM 테스트에서는 10개 모델 중 4개만 이 테스트를 통과했습니다. o1-preview 모델은 이 테스트를 완벽하게 완료했습니다.

2. 문자열 함수 다시 작성

두 번째 테스트에서는 사용자가 보고한 버그인 문자열 정규식을 수정했습니다. 원래 코드는 입력한 숫자가 달러와 센트에 유효한지 테스트하도록 설계되었습니다. 안타깝게도 코드에서는 정수만 허용되었습니다(따라서 5는 허용되지만 5.25는 허용되지 않음).

o1-preview LLM이 코드를 성공적으로 다시 작성했습니다. 이 모델은 승자 서클에서 이전 LLM 테스트 중 4개에 합류했습니다.

3. 짜증나는 버그 찾기

이 테스트는 제가 해결하기 어려웠던 실제 버그를 바탕으로 만들어졌습니다. 근본 원인을 식별하려면 프로그래밍 언어(이 경우 PHP)에 대한 지식과 WordPress API의 미묘한 차이가 필요합니다.

제공된 오류 메시지는 기술적으로 정확하지 않습니다. 오류 메시지는 내가 실행 중인 호출 시퀀스의 시작과 끝을 참조했지만 버그는 코드의 중간 부분과 관련이 있었습니다.

문제를 해결하기 위해 고군분투하는 것은 나 혼자가 아니었습니다. 제가 테스트한 다른 LLM 중 세 개는 문제의 근본 원인을 식별할 수 없었고 호출 시퀀스의 시작과 끝을 변경하는 보다 확실한(그러나 잘못된) 솔루션을 권장했습니다.

o1-미리보기 모델은 올바른 솔루션을 제공했습니다. 설명에서 모델은 내가 잘못 사용한 기능에 대한 WordPress API 문서를 지적하여 추천 이유를 알아볼 수 있는 추가 리소스를 제공했습니다. 매우 도움이 됩니다.

4. 스크립트 작성

이 과제를 해결하려면 AI가 AppleScript 언어, Chrome DOM(웹 페이지가 내부적으로 구성되는 방식) 및 Keyboard Maestro(단일 프로그래머의 특수 프로그래밍 도구)라는 세 가지 개별 코딩 영역에 대한 지식을 통합해야 합니다.

이 질문에 답하려면 세 가지 기술을 모두 이해하고 이들 기술이 어떻게 함께 작동해야 하는지 이해해야 합니다.

이번에도 o1-preview가 성공하여 이 문제를 해결한 다른 LLM 10개 중 3개만 합류했습니다.

매우 수다스러운 챗봇

o1-preview에 대한 새로운 추론 접근 방식은 확실히 ChatGPT의 프로그래밍 테스트 능력을 저하시키지 않습니다. 특히 초기 WordPress 플러그인 테스트의 결과는 이전 버전보다 더 정교한 소프트웨어로 작동하는 것처럼 보였습니다.

ChatGPT가 작업 시작 시 추론 단계를 제공하고 마지막에는 일부 설명 데이터를 제공한다는 점은 훌륭합니다. 그러나 설명이 수다스러울 수 있습니다. 저는 o1-preview에게 프로그래밍의 표준 테스트 라인인 C#으로 "Hello world"를 작성해 달라고 요청했습니다. GPT-4o는 다음과 같이 응답했습니다.

그리고 이것이 o1-preview가 동일한 테스트에 응답한 방식입니다.

내 말은, 와, 그렇지? ChatGPT의 많은 채팅입니다. 추론 드롭다운을 뒤집어 더 많은 정보를 얻을 수도 있습니다.

이 정보는 모두 훌륭하지만 필터링해야 할 텍스트가 너무 많습니다. 나는 기본 답변에서 제거된 드롭다운의 추가 정보 옵션을 사용하여 간결한 설명을 선호합니다.

그러나 ChatGPT의 o1-preview 모델은 탁월한 성능을 발휘했습니다. 파일 분석, 웹 액세스 등 GPT-4o 기능과 더욱 완벽하게 통합되면 얼마나 잘 작동할지 기대됩니다.