Meta의 AI 이미지 생성기는 언어가 필요한 전부일 수 있다고 말합니다.

CM3Leon 프로그램은 확산과 같은 접근 방식의 일부 계산만으로 고해상도 이미지를 생성할 수 있습니다.

Meta의 CM3Leon은 GPU 컴퓨팅의 일부를 사용하여 물체의 복잡한 조합과 손, 텍스트와 같은 렌더링하기 어려운 물체를 벤치마크 FID 점수에서 새로운 수준으로 달성하는 수준의 이미지를 구현합니다.

지난 몇 년 동안 문구를 입력하면 이미지를 생성하는 인공 지능 프로그램, 원하는 스타일로 이미지를 출력하고 다른 프롬프트 문구.

일반적으로 이러한 프로그램은 예제 이미지에 압축 프로세스를 수행한 다음 압축을 풀어 원본을 복구함으로써 예제 이미지를 조작하는 방식에 의존해 왔으며, 이를 통해 확산이라고 하는 프로세스인 이미지 생성 규칙을 학습했습니다.

또한: 생성 AI: Science 잡지의 학자들이 말하는 '예술가'라고 부르지 마세요

지난주에 소개된 Meta의 작업은 훨씬 더 간단한 것을 제안합니다. 즉, 이미지는 단어와 같은 코드 집합으로만 처리될 수 있으며 ChatGPT가 텍스트 줄을 조작하는 방식과 매우 유사하게 처리될 수 있습니다.

AI에 필요한 것은 언어뿐일 수도 있습니다.

그 결과 여러 요소가 포함된 복잡한 주제를 처리할 수 있는 프로그램이 탄생했습니다("오토바이 헬멧과 망토를 쓴 테디 베어가 리우데자네이루에서 Dois Irmãos를 배경으로 오토바이를 타고 있습니다."). 손과 같은 어려운 개체를 렌더링할 수 있습니다. 많은 이미지 생성 프로그램에서 왜곡되는 경향이 있는 텍스트입니다. 주어진 이미지를 자세히 설명하거나 주어진 이미지를 정확하게 변경하는 등의 다른 작업을 수행할 수 있습니다. 그리고 일반적으로 필요한 컴퓨팅 성능의 극히 일부만으로 이를 수행할 수 있습니다.

Meta의 AI 연구 사이트에 게재된 Lilu Yu와 FAIR(Facebook AI Research) 동료의 논문 "Scaling Autoregressive Multi-Modal Models: Pre-training and Instruction Tuning"에서 핵심 통찰력은 이미지를 마치 실제처럼 사용하는 것입니다. 단어. 또는 이미지를 토큰으로 대체하는 "코드북"을 사용하여 텍스트와 이미지가 함께 연속 문장으로 기능합니다.

"우리의 접근 방식은 자기회귀 모델의 범위를 확장하여 비용 효율성과 성능 측면에서 확산 모델과 경쟁하고 이를 능가할 수 있는 잠재력을 보여줍니다."라고 Yu와 팀은 썼습니다.

코드북에 대한 아이디어는 하이델베르그 대학의 Patrick Esser와 동료들이 2021년부터 적용하기 시작했습니다. 그들은 이미지 파일을 전문적으로 처리하는 컨볼루셔널 신경망(또는 CNN)이라는 오래된 종류의 신경망을 채택했습니다. 이미지를 제작할 수 있는 생성적 적대 네트워크(GAN)라는 AI 프로그램을 훈련함으로써 CNN은 가장자리와 같은 이미지의 측면을 코드북의 항목과 연관시키도록 만들어졌습니다."

그런 다음 ChatGPT와 같은 언어 모델의 단어가 다음 단어를 예측하는 방식으로 해당 인덱스를 예측할 수 있습니다. 고해상도 이미지는 훨씬 덜 계산 집약적인 작업인 픽셀 예측이 아닌 인덱스 예측 시퀀스가 됩니다.

CM3Leon의 입력은 토큰 문자열이며, 여기서 이미지는 코드북 항목에 대한 참조인 텍스트 형식의 또 다른 토큰으로 축소됩니다.

Meta의 Yu와 동료들은 코드북 접근 방식을 사용하여 이미지 코드북을 처리할 수 있는 대규모 언어 모델인 신경망인 "카멜레온"으로 발음되는 CM3Leon을 조립했습니다.

CM3Leon은 작년에 FAIR에서 소개한 "Causally-Masked Multimodal Modeling"을 위한 CM3 프로그램을 기반으로 구축되었습니다. 시퀀스의 다음 요소("디코더 전용 변환기 아키텍처")를 예측하도록 훈련된 "Transformer" 스타일 프로그램이라는 점에서 ChatGPT와 비슷하지만 이를 입력된 내용의 "마스킹" 부분과 결합합니다. Google의 BERT 프로그램에 추가하여 문장의 뒷부분에 나올 내용에서 컨텍스트를 얻을 수도 있습니다.

CM3Leon은 검색이라는 기능을 추가하여 CM3을 기반으로 구축되었습니다. 대규모 언어 모델에서 점점 더 중요해지고 있는 검색은 프로그램이 원하는 경우 "집에 전화"하여 문서 데이터베이스에 접근하고 프로그램의 출력으로 관련될 수 있는 내용을 검색할 수 있음을 의미합니다. 이는 신경망의 가중치 또는 매개변수가 예측에 필요한 모든 정보를 전달해야 하는 부담을 지지 않도록 메모리에 액세스할 수 있는 방법입니다.

Yu와 팀에 따르면 그들의 데이터베이스는 이미지와 텍스트 문서 모두를 검색할 수 있는 벡터 "데이터 뱅크"입니다. -CLIP 텍스트 및 이미지 인코더를 고정한 다음 두 값을 문서의 벡터 표현으로 평균화합니다."

새로운 방식으로 연구원들은 인터넷 이미지가 아닌 스톡 사진 회사인 Shutterstock의 라이선스가 부여된 700만 개의 이미지 컬렉션을 훈련 데이터 세트로 사용했습니다. "결과적으로 성능 저하 없이 이미지 소유권 및 속성과 관련된 문제를 피할 수 있습니다."

데이터베이스에서 검색된 Shutterstock 이미지는 CM3Leon의 사전 교육 단계에서 프로그램 기능을 개발하는 데 사용됩니다. ChatGPT 및 기타 대규모 언어 모델이 사전 훈련되는 것과 같은 방식입니다. 그러나 사전 훈련된 CM3Leon의 입력과 출력이 모두 모델에 피드백되어 모델을 더욱 개선하는 추가 단계가 발생하는데, 이 접근 방식을 "감독 미세 조정"(SFT)이라고 합니다.

이 모든 것의 결과는 다양한 텍스트-이미지 작업에 대한 최첨단 기술을 달성하는 프로그램입니다. 주요 테스트는 Carnegie Mellon University의 Xinlie Chen과 동료가 2015년에 게시한 데이터 세트인 Microsoft COCO Captions입니다. 프로그램은 오스트리아 요하네스 케플러 대학교 린츠(Johannes Kepler University Linz)의 마틴 호이젤(Martin Heusel)과 동료들이 2018년에 도입한 유사성 척도인 FID 점수에 따라 데이터세트의 이미지를 얼마나 잘 복제하는지에 따라 판단됩니다.

Yu와 팀은 다음과 같이 썼습니다. "CM3Leon-7B 모델은 4.88이라는 새로운 최첨단 FID 점수를 설정하는 동시에 훈련 데이터의 일부만 사용하고 PARTI와 같은 다른 모델의 계산도 사용합니다." "7B" 부분은 프로그램 규모의 일반적인 척도인 70억 개의 신경 매개변수를 갖는 CM3Leon 프로그램을 나타냅니다.

표는 CM3Leon 모델이 훨씬 적은 훈련 데이터와 다른 모델보다 적은 매개변수를 사용하여 더 나은 FID 점수(낮을수록 좋음)를 얻는 방법을 보여줍니다. 이는 컴퓨팅 강도가 낮다고 말하는 것과 같습니다.

한 차트는 CM3Leon이 Nvidia A100 GPU에서 더 짧은 훈련 시간을 사용하여 우수한 FID 점수에 도달한 방법을 보여줍니다.

큰 그림은 무엇입니까? 단일 프롬프트 문구를 사용하는 CM3Leon은 이미지를 생성할 수 있을 뿐만 아니라 주어진 이미지에서 개체를 식별하거나 주어진 이미지에서 캡션을 생성하거나 텍스트와 이미지를 저글링하는 다양한 작업을 수행할 수 있습니다. 프롬프트에 내용을 입력하는 매우 대중적인 관행이 새로운 패러다임이 되고 있다는 것은 분명합니다. 동일한 타이핑 제스처는 다양한 "양식", 즉 이미지, 사운드, 오디오 등 다양한 종류의 데이터를 사용하는 많은 작업에 광범위하게 사용될 수 있습니다.

저자는 "우리의 결과는 광범위한 텍스트 및 이미지 작업에 대한 자동 회귀 모델의 가치를 뒷받침하며 이 접근 방식에 대한 추가 탐색을 장려합니다."라고 결론지었습니다.