이러한 AI 모델은 오픈 소스 동료보다 더 나은 추론을 제공하지만 여전히 인간과 경쟁할 수는 없습니다.

한 연구에서는 인간 IQ 테스트에서 발견되는 것과 같은 시각적 퍼즐을 완성하는 AI의 능력을 테스트했습니다. 제대로 진행되지 않았습니다.

인공지능(AI)이 인간 IQ 테스트를 위해 설계된 인지 퍼즐을 통과할 수 있을까요? 결과는 엇갈렸습니다.

USC Viterbi School of Engineering Information Sciences Institute(ISI)의 연구원들은 다중 모드 대형 언어 모델(MLLM)이 일반적으로 인간이 수행하는 추상적인 시각적 테스트를 해결할 수 있는지 조사했습니다.

지난 주 필라델피아에서 열린 언어 모델링 컨퍼런스(COLM 2024)에서 발표된 이 연구는 이미지 처리 모델이 한 단계 더 나아가 추론을 보여줄 수 있는지 확인함으로써 "오픈 소스 및 폐쇄 소스 MLLM의 비언어적 추상 추론 능력"을 테스트했습니다. 시각적 퍼즐과 함께 제시될 때의 기술.

"예를 들어 노란색 원이 파란색 삼각형으로 바뀌는 경우 모델이 다른 시나리오에서 동일한 패턴을 적용할 수 있습니까?" Neuroscience News에 따르면 이 프로젝트의 연구 조교인 Kian Ahrabian은 다음과 같이 설명했습니다. 이 작업을 수행하려면 모델이 인간이 생각하는 방식과 유사한 시각적 인식과 논리적 추론을 사용해야 하므로 더욱 복잡한 과제가 됩니다.

연구원들은 추상 추론의 표준 유형인 Raven's Progressive Matrices에서 개발된 퍼즐에서 24개의 서로 다른 MLLM을 테스트했지만 AI 모델은 정확하게 성공하지 못했습니다.

"그들은 정말 나빴습니다. 그들은 아무것도 얻을 수 없었습니다."라고 Ahrabian이 말했습니다. 모델은 시각적인 내용을 이해하고 패턴을 해석하는 데 어려움을 겪었습니다.

그러나 결과는 다양했습니다. 전반적으로, 연구에 따르면 오픈 소스 모델은 GPT-4V와 같은 폐쇄 소스 모델보다 시각적 추론 퍼즐에서 더 어려움을 겪었지만 여전히 인간의 인지 능력과 경쟁할 수는 없었습니다. 연구원들은 테스트의 추론 부분을 통해 모델을 단계별로 안내하는 사고 사슬 프롬프트(Chain of Thought Prompting)라는 기술을 사용하여 일부 모델의 성능이 더 향상되도록 도울 수 있었습니다.

비공개 소스 모델은 특별히 개발되고, 더 큰 데이터 세트로 훈련되고, 민간 기업의 컴퓨팅 능력의 이점을 가지고 있기 때문에 이러한 테스트에서 더 나은 성능을 발휘하는 것으로 생각됩니다. "구체적으로 GPT-4V는 추론 능력이 상대적으로 뛰어났지만 완벽함과는 거리가 멀다"고 Ahrabian은 지적했습니다.

연구 부교수이자 저자인 Jay Pujara는 "우리는 여전히 새로운 AI 모델이 무엇을 할 수 있는지에 대한 이해가 제한적이며, 이러한 한계를 이해하기 전까지는 AI를 더 좋고, 더 안전하고, 더 유용하게 만들 수 없습니다"라고 말했습니다. "이 논문은 AI가 어려움을 겪고 있는 이야기의 누락된 부분을 채우는 데 도움이 됩니다."

이와 같은 연구는 AI 모델의 추론 능력의 약점을 찾아 인간 수준의 논리를 달성하는 목표인 해당 기술을 구체화하려는 직접적인 노력에 도움이 될 수 있습니다. 하지만 걱정하지 마세요. 당분간은 인간의 인지 능력과 비교할 수 없습니다.