OpenAI의 새로운 o1 모델을 깨뜨리려고 하시나요? 금지될 수도 있습니다

환각을 위한 새로운 AI 모델을 얻는 것은 재미있는 도전이 될 수 있지만 이제 이러한 행동에는 결과가 따릅니다.

가장 똑똑한 AI 모델이라도 환각을 느끼기 쉬우며, 이는 자극을 받으면 재미있을 수 있습니다. 글루 피자를 상기시켜드릴까요? 그러나 OpenAI의 고급 o1 추론 모델에서 환각을 유도하려고 하면 모델에 대한 액세스가 완전히 상실될 수 있습니다.

OpenAI는 지난주 "말하기 전에 생각"하도록 훈련된 o1 모델을 공개했으며 그 결과 고급 추론을 사용하여 복잡한 수학, 과학 및 코딩 문제를 해결할 수 있습니다. 이처럼 인상적인 기능을 자랑하는 모델을 통해 사람들은 자연스럽게 일련의 추론을 깨뜨리기 시작했습니다.

그러나 Wired가 처음 발견한 것처럼 그렇게 하려고 시도한 사용자는 챗봇 인터페이스 내에서 자신의 행동이 OpenAI의 이용 약관 및 사용 정책을 위반했다는 경고를 받았습니다. 사용자 작업에는 "추론 추적" 또는 "추론"과 같은 용어를 언급하는 것이 포함되었습니다.

Lol pic.twitter.com/qbnIMXkCcm

— Dyusha Gritsevskiy (@dyushag) September 12, 2024

2024년 1월 31일에 마지막으로 업데이트된 OpenAI의 이용 약관에 따라 회사는 사용자가 약관 또는 사용 정책을 위반하여 위험을 초래할 수 있다고 판단하는 경우 "당사 서비스에 대한 액세스를 일시 중지 또는 종료하거나 계정을 삭제할" 권리를 보유합니다. OpenAI 및 다른 사용자에게 해를 끼치거나 법을 준수하지 않는 경우.

이러한 정책에 대한 반응은 엇갈렸습니다. 일부 사람들은 이러한 제한이 적절한 레드팀 구성을 방해한다고 불평하는 반면, 다른 사람들은 최신 모델의 허점을 방지하기 위해 적극적인 예방 조치가 취해진 것에 대해 기뻐했습니다.

o1 모델을 직접 사용해 보고 싶다면 무료 ChatGPT 계정을 만들고 로그인한 후 모델 선택기에서 "알파 모드"를 전환하고 o1-mini를 선택할 수 있습니다. o1-미리보기를 사용하려면 월 20달러에 ChatGPT Plus 계정을 구독해야 합니다.