Google의 VLOGGER AI 모델은 이미지에서 비디오 아바타를 생성할 수 있습니다. 무엇이 잘못될 수 있습니까?

이 AI 기술은 보다 관련성이 높은 헬프데스크 상담원이나 설득력 있는 딥페이크의 새로운 물결로 이어질 수 있습니다.

VLOGGER는 누군가의 사진 한 장을 찍어 이전 종류의 "말하는 머리" 소프트웨어를 능가하는 정확한 얼굴 표정과 신체 움직임을 포함하는 다양한 길이의 고화질 클립을 만들 수 있습니다.

인공 지능(AI) 커뮤니티는 가짜 동영상을 만드는 데 너무 능숙해졌습니다. 지속적이고 실용적인 질문을 던져야 할 정도로 지난 달 소개된 OpenAI의 Sora를 살펴보세요. 이 영상을 다 처리해야 하나?

이번 주 Google 학자 Enric Corona와 그의 동료들은 VLOGGER 도구를 사용하여 제어할 수 있다고 답했습니다. VLOGGER는 사진 한 장을 바탕으로 사람들이 이야기하는 고해상도 영상을 생성할 수 있습니다. 더 중요한 것은 VLOGGER가 음성 샘플에 따라 비디오에 애니메이션을 적용할 수 있다는 것입니다. 즉, 이 기술은 비디오를 사람의 통제된 모습, 즉 충실도가 높은 "아바타"로 애니메이션화할 수 있다는 의미입니다.

이 도구를 사용하면 모든 종류의 창작이 가능해집니다. 가장 단순한 수준에서 코로나 팀은 VLOGGER가 보다 현실적으로 보이는 합성 말하는 인간이 "공감을 개발"할 수 있기 때문에 헬프데스크 아바타에 큰 영향을 미칠 수 있다고 제안합니다. 그들은 이 기술이 "향상된 온라인 커뮤니케이션, 교육 또는 개인화된 가상 비서와 같은 완전히 새로운 사용 사례를 가능하게 할 수 있다"고 제안합니다.

VLOGGER는 또한 실제 사람이 실제로 한 적이 없는 일을 말하고 행동하는 실제처럼 보이는 딥페이크의 새로운 지평을 열 수도 있습니다. 코로나 팀은 보충 지원 자료에 VLOGGER의 사회적 의미에 대한 고려를 제공할 계획입니다. 그러나 해당 자료는 프로젝트의 GitHub 페이지에서 사용할 수 없습니다. ZDNET은 지원 자료에 대해 문의하기 위해 코로나에 연락했지만 게시 시점에 답변을 받지 못했습니다.

공식 논문 "VLOGGER: Multimodal Diffusion for Embodied Avatar Synesis"에 설명된 대로 Corona 팀은 아바타의 최신 기술의 부정확성을 극복하는 것을 목표로 합니다. 코로나팀은 "인간의 사실적인 영상 제작은 여전히 복잡하고 인공물로 무르익었다"고 썼다.

연구팀은 기존 비디오 아바타가 몸과 손을 잘라내고 얼굴만 보여주는 경우가 많다는 점에 주목했습니다. VLOGGER는 손의 움직임과 함께 몸통 전체를 보여줄 수 있습니다. 다른 도구는 일반적으로 얼굴 표정이나 포즈에 대한 변형이 제한되어 있어 기본적인 립싱크만 제공합니다. VLOGGER는 "상당히 다양한 표정과 몸짓을 특징으로 하는 머리와 상체 움직임의 고해상도 비디오 […]"를 생성할 수 있으며 "음성 입력을 통해 인간이 말하고 움직이는 것을 생성하는 최초의 접근 방식"입니다.

연구팀이 설명했듯이 "우리가 이 작업에서 목표로 하는 것은 바로 자동화와 행동 현실주의입니다. VLOGGER는 오디오 및 애니메이션 시각적 표현을 갖춘 구체화된 대화 에이전트에 대한 다중 모드 인터페이스입니다. 인간 사용자와의 자연스러운 대화를 지원하도록 설계된 얼굴 표정과 신체 움직임 수준 증가."

왼쪽의 단일 사진을 기반으로 VLOGGER 소프트웨어는 "확산"이라는 프로세스를 사용하여 누군가 말하는 사운드 파일의 매 순간에 수반되어야 하는 비디오 프레임을 예측한 다음 해당 비디오 프레임을 높은 해상도로 생성합니다. -정의 품질.

VLOGGER에서는 딥 러닝의 몇 가지 최근 동향을 소개합니다.

다중 양식은 AI 도구가 텍스트와 오디오, 이미지와 비디오를 포함하여 흡수하고 합성할 수 있는 다양한 모드를 통합합니다.

OpenAI의 GPT-4와 같은 대규모 언어 모델을 사용하면 자연어를 입력으로 사용하여 텍스트 단락, 노래 또는 그림을 만드는 등 다양한 종류의 작업을 수행할 수 있습니다.

연구자들은 또한 최근 몇 년 동안 "확산"을 개선하여 실물과 같은 이미지와 비디오를 만드는 다양한 방법을 발견했습니다. 이 용어는 분자 물리학에서 유래되었으며, 온도가 상승함에 따라 물질 입자가 한 지역에 고도로 집중된 상태에서 더 퍼지는 방식을 나타냅니다. 비유하자면, 디지털 정보의 비트는 디지털 노이즈와 일관성이 떨어질수록 "확산"되는 것으로 볼 수 있습니다.

AI 확산은 이미지에 노이즈를 도입하고 원본 이미지를 재구성하여 신경망이 구성된 규칙을 찾도록 훈련시킵니다. 확산은 Stability AI의 Stable Diffusion과 OpenAI의 DALL-E에서 인상적인 이미지 생성 프로세스의 뿌리입니다. OpenAI가 Sora에서 멋진 비디오를 만드는 방법이기도 합니다.

VLOGGER의 경우 Corona 팀은 화자의 오디오를 해당 화자의 개별 비디오 프레임과 연결하도록 신경망을 훈련했습니다. 팀은 또 다른 최근 혁신 기술인 Transformer를 사용하여 오디오에서 비디오 프레임을 재구성하는 확산 프로세스를 결합했습니다.

Transformer는 어텐션 방법을 사용하여 오디오와 함께 과거에 발생한 프레임을 기반으로 비디오 프레임을 예측합니다. 행동을 예측함으로써 신경망은 오디오와 동기화하여 프레임별로 정확한 손과 몸의 움직임, 얼굴 표정을 렌더링하는 방법을 학습합니다.

마지막 단계는 첫 번째 신경망의 예측을 사용하여 확산을 사용하는 두 번째 신경망을 사용하여 고해상도 비디오 프레임 생성을 지원하는 것입니다. 두 번째 단계는 데이터의 최고 수준이기도 합니다.

고해상도 이미지를 만들기 위해 코로나 팀은 사람들이 말하는 동영상의 800,000개 "신원"을 포함하는 데이터 세트인 MENTOR를 편집했습니다. MENTOR는 2,200시간 분량의 비디오로 구성되어 있으며 팀은 이를 "신원 및 길이 측면에서 현재까지 사용된 데이터 세트 중 가장 큰 데이터 세트"로 만들고 이전의 비교 가능한 데이터 세트보다 10배 더 크다고 주장합니다.

저자는 "미세 조정"이라는 후속 단계를 통해 해당 프로세스를 향상시킬 수 있음을 발견했습니다. MENTOR에서 이미 "사전 훈련"된 후 전체 길이 비디오를 VLOGGER에 제출하면 눈 깜박임과 같은 사람의 머리 움직임의 특이성을 보다 현실적으로 포착할 수 있습니다. "더 많은 데이터로 확산 모델을 미세 조정함으로써 , VLOGGER는 피사체의 단안 영상에서 신원을 더 잘 포착하는 방법을 학습할 수 있습니다. 예를 들어 참조 이미지가 눈을 감고 표시되는 경우입니다. 이 프로세스를 팀에서는 '개인화'라고 합니다.

VLOGGER의 신경망은 두 개의 서로 다른 신경망의 조합입니다. 첫 번째는 Transformer를 통해 "마스크된 주의"를 사용하여 스피커의 녹음된 오디오 신호에서 나오는 사운드를 기반으로 비디오 프레임에서 어떤 포즈가 발생해야 하는지 예측합니다. 두 번째 신경망은 확산을 사용하여 첫 번째 신경망의 신체 움직임 및 표현 단서를 사용하여 일관된 비디오 프레임 시퀀스를 생성합니다.

하나의 신경망에서 예측을 고해상도 이미지와 연결하고 VLOGGER를 도발적으로 만드는 이 접근 방식의 더 큰 요점은 이 프로그램이 Sora처럼 단순히 비디오를 생성하는 것이 아니라는 것입니다. VLOGGER는 해당 비디오를 제어할 수 있는 동작과 표현에 연결합니다. 실제와 같은 비디오는 마치 인형처럼 펼쳐지면서 조작될 수 있습니다.

코로나 팀은 "우리의 목표는 신원이나 포즈를 제어하지 않고 역동적인 비디오를 생성할 수 있는 최근 비디오 합성 노력과 제어 가능한 이미지 생성 방법 사이의 격차를 해소하는 것"이라고 썼습니다.

VLOGGER는 음성 기반 아바타가 될 수 있을 뿐만 아니라 말하는 주체의 입이나 눈을 바꾸는 등의 편집 기능으로 이어질 수도 있습니다. 예를 들어, 동영상에서 눈을 많이 깜박이는 가상 인물은 조금 깜박이거나 전혀 깜박이지 않는 것으로 바뀔 수 있습니다. 입을 크게 벌린 채 말하는 방식은 입술의 좀 더 분리된 움직임으로 좁혀질 수 있습니다.

음성 신호를 통해 고해상도 비디오를 제어하는 방법을 달성한 VLOGGER는 비디오의 각 부분에서 화자의 입술 움직임을 원본 소스 비디오와 다르게 변경하는 등 조작의 길을 열어줍니다.

사람을 시뮬레이션하는 데 있어 새로운 최첨단 기술을 달성한 코로나 팀이 다루지 않은 질문은 기술의 오용으로 인해 세상이 무엇을 기대해야 하는가입니다. 예를 들어 임박한 핵전쟁에 대해 절대적으로 재앙적인 말을 하는 정치인의 모습을 상상하기는 쉽습니다.

아마도 이 아바타 게임의 다음 단계는 영화 블레이드 러너(Blade Runner)의 '보이트-캄프(Voight-Kampff) 테스트'와 같이 놀라울 정도로 실물과 같은 방식으로 사회가 어느 스피커가 진짜인지, 어느 스피커가 딥페이크인지 감지하는 데 도움을 줄 수 있는 신경망이 될 것입니다.