'인간이냐 아니냐' 게임은 끝났다: 최신 튜링 테스트(Turing Test)가 우리에게 알려주는 내용은 다음과 같다.

이 실험의 목적은 매우 간단했습니다. 2분 동안 채팅한 다음 상대방이 인간인지 봇인지 추측하는 것입니다. 추측이 맞나요?

AI21 Labs는 올 봄에 200만 명 이상의 참가자가 웹사이트를 통해 1,500만 건 이상의 대화에 참여한 사회적 실험을 실시했습니다. 각 채팅이 끝날 때 참가자는 대화 상대가 인간인지 AI 봇인지 추측해야 했습니다. 거의 3분의 1에 가까운 추측이 틀렸습니다.

ChatGPT 및 기타 AI 챗봇의 인기가 높아짐에 따라 그러한 AI 도구가 인간만큼 지능적일 수 있는지, 이러한 도구가 생성하는 콘텐츠가 인간 창작물에 전달될 수 있는지, AI가 사람들의 일자리를 위협하는지 여부에 대한 의문도 제기됩니다.

AI21 연구소는 "Human or Not?"에 대한 영감을 찾았습니다. 인간과 구별할 수 없는 수준의 지능을 나타내는 기계의 능력에 대한 앨런 튜링의 평가에서 나온 실험입니다.

이러한 유형의 실험은 1950년 수학자 "나는 50년 후에는 일반 질문자가 5분 동안 질문한 후 올바른 신원을 확인할 확률은 70%를 넘지 않습니다."

Human or Not 실험의 결과는 Turing의 예측을 뒷받침합니다. 전반적으로 실험 참가자들은 68%의 확률로 정확하게 추측했습니다. AI 챗봇과 결합했을 때 참가자들은 약 60% 정도만 정확하게 추측했습니다. 대화 상대가 다른 사람이었을 때 그들은 73%의 확률로 정확하게 추측했습니다.

이것이 완벽한 튜링 테스트는 아니었지만 AI21 Labs의 Human or Not 실험은 AI 모델이 사람들을 속일 만큼 설득력 있게 인간의 대화를 모방할 수 있는 방법을 보여주었습니다. 이는 AI 한계에 대한 우리의 가정에 도전하고 AI 윤리에 영향을 미칠 수 있습니다.

실험 결과, 인간 참가자들은 AI 봇을 알아내기 위해 개인적인 질문, 현재 사건에 대한 문의, 답변의 공손함 수준 평가 등 다양한 전략을 사용하는 것으로 나타났습니다.

반면, 저자는 봇이 속어 사용, 오타 만들기, 무례한 반응, 게임 상황에 대한 인식 표시 등 인간과 유사한 행동으로 플레이어를 혼란스럽게 한다는 사실을 발견했습니다.

실험 당시 AI21 Labs의 크리에이티브 제품 책임자인 Amos Meron은 "우리는 일반 대중, 연구원, 정책 입안자가 2023년 초에 AI의 상태를 더 깊이 이해할 수 있도록 하는 목표로 'Human or Not'을 만들었습니다."라고 말했습니다. . 그는 "AI를 단지 생산성 도구로만 보는 것이 아니라 사람들이 미래에 AI를 어떻게 구현해야 하는지 의문을 제기하는 이 시대에 온라인 세계의 미래 구성원으로 보는 것이 목표 중 하나"라고 덧붙였습니다.

출시된 동안 직접 사용해본 결과, 매번 인간과 짝을 이루어 매번 정확하게 추측했습니다. 대화 상대가 인터넷 속어(예: idk)를 사용하거나 질문에 답변을 거부하거나 답변을 모르기 때문에 답변이 분명해 보였습니다.

플레이어는 "AI 언어 모델로서"와 같은 용어를 사용하여 AI 챗봇을 모방하여 다른 플레이어를 혼란스럽게 하려고 시도했지만 이는 불완전하게 수행되는 경우가 많았으며 상대방의 인간 참가자는 이러한 시도를 간파할 수 있었습니다.