OpenAI는 AI 모델을 보다 논리적으로 만들고 환각을 방지하는 방법을 찾았습니다.

AI 모델이 스스로 학습하는 방식을 변경하면 조작을 방지하는 데 도움이 될 수 있습니다.

AI 모델은 발전하여 놀라운 일을 할 수 있지만 여전히 실수를 저지르고 환각이라고 알려진 잘못된 답변을 생성할 수 있습니다.

ChatGPT 및 Google Bard를 포함한 모든 주요 AI 챗봇은 이러한 환각에 취약합니다. OpenAI와 Google 모두 챗봇이 잘못된 정보를 생성할 수 있다는 공개도 포함합니다.

ChatGPT 블로그 게시물에서 OpenAI는 "ChatGPT는 그럴듯하게 들리지만 부정확하거나 무의미한 답변을 작성하는 경우가 있습니다."라고 말합니다.

허위 정보의 생성으로 인해 잘못된 정보의 유포와 그에 따른 잠재적인 부정적인 결과에 대한 우려가 널리 확산되었습니다.

OpenAI는 새로운 연구 게시물에서 AI 모델이 보다 논리적으로 작동하고 환각을 피할 수 있는 방법을 찾았을 수도 있다고 공유합니다.

OpenAI는 최종 결과에 대한 피드백을 제공하는 '결과 감독'이 아닌 각 단계에 대한 피드백을 제공하는 방식인 '프로세스 감독'을 통해 복잡한 수학적 문제를 해결할 수 있는 모델을 훈련했습니다.

연구 논문에서 OpenAI는 MATH 데이터 세트를 사용하여 두 가지 방법을 모두 테스트한 결과 프로세스 감독 방법이 "상당히 더 나은 성능"을 가져온다는 사실을 발견했습니다.

OpenAI는 연구 논문에서 “프로세스 감독은 모델이 인간이 승인한 프로세스를 따르도록 장려하기 때문에 해석 가능한 추론을 생성할 가능성이 더 높습니다.”라고 말합니다.

OpenAI는 수학적 문제의 범위를 벗어나면 이러한 결과가 얼마나 광범위하게 적용될지는 알 수 없지만 다른 영역에서 이를 탐색하는 것이 여전히 중요하다는 점에 주목합니다.