이 무료 Google AI 도구는 복잡한 연구 논문을 간결한 대화로 바꿔줍니다

OpenAI의 GPT-3와 같은 인상적인 딥 러닝 프로그램은 다의어 및 동음이의어와 같은 인간 언어의 통계적 기이함을 악용할 수 있습니다.

언어의 빈도와 다원성(polysemy)과 같은 특성이 신경망이 특별히 개발되지 않은 작업("퓨샷 학습(few-shot learning)"을 갑자기 해결할 수 있는지 여부에 영향을 미칠 수 있습니까? DeepMind는 그렇다고 대답합니다.

OpenAI의 GPT-3 신경망과 같은 프로그램이 특정 작업을 위해 프로그래밍된 적이 없음에도 불구하고 객관식 질문에 답하거나 특정 스타일로 시를 쓸 수 있는 이유는 무엇입니까?

이는 인간의 언어가 신경망이 예상치 못한 것을 예상하도록 이끄는 통계적 속성을 가지고 있기 때문일 수 있다고 Google의 AI 부서인 DeepMind의 새로운 연구가 밝혔습니다.   

사실, 언어는 규칙적인 패턴을 가진 지도 학습 데이터와 다양한 데이터를 사용하는 메타 학습 사이의 무언가와 같다고 그들은 말합니다.

지도 학습에서와 마찬가지로 항목(단어)이 반복되고 항목-레이블 매핑(예: 단어 의미)은 다소 고정되어 있습니다. 동시에 긴 꼬리 분포는 컨텍스트 창에서 드물게 반복되지만 컨텍스트 창 내에서 급증(여러 번 나타남)할 수 있는 많은 희귀 단어가 존재하도록 합니다. 우리는 또한 동의어, 동음이의어 및 다의어를 모든 에피소드에서 매핑이 변경되는 퓨샷 메타 훈련에 사용되는 완전히 고정되지 않은 항목 레이블 매핑의 약한 버전으로 볼 수 있습니다.

이 가설을 검증하기 위해, 챈과 동료들은 놀랍게도 실제로 언어 과제를 다루지 않았다. 대신, 그들은 2016년 NYU, Carnegie Mellon, MIT 학자들이 소개한 Omniglot이라는 시각적 작업을 해결하기 위해 트랜스포머 신경망을 훈련시킵니다. Omniglot은 1,623개의 손으로 쓴 문자 모양에 올바른 분류 레이블을 할당하는 프로그램에 도전합니다.

Chan et al.의 연구의 경우, 그들은 레이블이 지정된 Omniglot 챌린지를 글리프의 레이블을 무작위로 섞어 원샷 작업으로 변환하여 신경망이 각 "에피소드"로 학습하도록 합니다.

레이블이 모든 시퀀스에 걸쳐 고정된 교육과 달리 이 두 이미지 클래스의 레이블은 각 시퀀스에 대해 무작위로 다시 할당되었습니다. 레이블이 각 시퀀스에 대해 무작위로 다시 할당되었기 때문에 모델은 쿼리 이미지에 대한 레이블 예측을 수행하기 위해 현재 시퀀스의 컨텍스트를 사용해야 합니다(2방향 분류 문제). 달리 명시되지 않는 한, 퓨샷 학습은 항상 훈련에서 볼 수 없었던 홀드아웃 이미지 클래스에서 평가되었습니다.

이런 식으로 저자는 언어의 불균일한 특성을 포착하기 위해 시각적 데이터, 즉 글리프를 조작하고 있습니다. "교육 시간에 우리는 Omniglot 이미지와 레이블을 다양한 언어에서 영감을 받은 분포 속성을 가진 시퀀스로 배치합니다"라고 그들은 씁니다. 예를 들어, 그들은 주어진 글리프에 할당할 수 있는 클래스 레이블의 수를 점진적으로 늘려 polysemy의 품질을 근사화합니다.  

"평가에서 우리는 이러한 속성이 소수의 학습 능력을 유발하는지 여부를 평가합니다."

그들이 발견한 것은 주어진 글리프에 대한 레이블의 수를 곱할수록 신경망이 퓨샷 학습을 더 잘 수행한다는 것입니다. "우리는 이 '다의성 요인'(각 단어에 할당된 레이블의 수)을 늘리는 것이 또한 퓨샷 학습(few-shot learning)을 증가시킨다는 것을 보고 있다"고 챈과 동료들은 말했다. 

"다른 말로 하면, 일반화 문제를 더 어렵게 만드는 것은 실제로 소수의 학습이 더 강하게 나타나게 만들었다."

동시에, 소수의 샷 성능을 유발하는 것은 데이터 분포뿐만이 아니라고 그들은 결론지었습니다. 트랜스포머 신경망의 특정 구조에는 퓨샷 학습(few-shot learning)을 달성하는 데 도움이 되는 무언가가 있다고 Chan과 동료들은 발견했다. 그들은 "바닐라 순환 신경망"을 테스트하고 그러한 네트워크는 결코 소수의 능력을 달성하지 못한다는 것을 발견했습니다. 

"트랜스포머는 반복 모델보다 퓨샷 학습에 대한 편향이 훨씬 더 크다는 것을 보여줍니다."

저자들은 언어의 롱테일과 같은 데이터의 품질과 트랜스포머 구조와 같은 신경망의 특성이 모두 중요하다고 결론지었습니다. 둘 중 하나가 아니라 둘 다입니다. 

저자는 앞으로 탐구해야 할 여러 가지 방법을 열거합니다. 하나는 인간의 인지와의 연관성인데, 아기들은 소수의 학습으로 보이는 것을 보여주기 때문이다.

예를 들어, 유아는 언어의 통계적 속성을 빠르게 배웁니다. 이러한 분포적 특징이 유아가 빠른 학습 능력을 습득하는 데 도움이 될 수 있습니까, 아니면 나중에 학습하기 위한 유용한 사전 훈련 역할을 할 수 있습니까? 그리고 시각과 같은 다른 경험 영역에서의 유사한 불균일 분포도 이러한 발달에 역할을 할 수 있습니까?

현재의 작업이 전혀 언어의 시험이 아니라는 것은 명백하다. 오히려, 그것은 시각적 데이터, 즉 Omniglot 이미지에서 불균일성을 재창조함으로써 언어의 가정된 통계적 속성을 모방하는 것을 목표로 합니다.

저자는 한 양식에서 다른 양식으로의 번역이 그들의 작업의 중요성에 어떤 영향을 미치는지 여부를 설명하지 않습니다. 대신, 그들은 그들의 작업을 언어의 더 많은 측면으로 확장하기를 기대한다고 썼다. 

그들은 "위의 결과는 향후 연구의 흥미로운 라인을 시사한다"며 "이러한 데이터 분포 속성이 강화 학습과 감독 손실과 어떻게 상호 작용합니까? 언어 및 언어 모델링의 다른 측면(예: 기호 입력 사용, next-token 또는 masked-token 예측에 대한 학습, 컨텍스트에 따라 단어의 의미를 결정하는 것)을 복제하는 실험에서는 결과가 어떻게 달라질 수 있습니까?"