Nvidia의 GauGAN 2 AI 이미지 머신 해킹의 터무니없는 아름다움

엔비디아의 알고리즘에 말도 안 되는 문구를 입력하면 때로는 아름답고, 때로는 비참하고, 대부분의 경우 매혹적인 매혹적인 "오류"가 발생한다.

엔비디아의 GauGAN 2 AI 프로그램에 "ZDNet superb reporting"이라는 단어를 입력하면 자동으로 초현실적인 이미지가 생성됩니다.

Nvidia의 새로운 인공 지능 데모인 GauGAN 2에 "ZDNet superb reporting"이라는 단어를 입력하면 눈 덮인 배경을 배경으로 호수에서 씨름하는 큰 폼 단열재 조각처럼 보이는 사진을 볼 수 있습니다. 

"ZDNet superb reporting comely"와 같은 단어를 더 추가하면 이미지가 거의 알아볼 수 없는 새로운 형태, 아마도 소화된 포뮬러 원 경주용 자동차로 변형되어 인공 구조물의 흐릿한 시야 앞에서 도로처럼 보이는 것을 따라 진행하는 것을 볼 수 있습니다. 

GauGAN 2는 "ZDNet superb reporting comely"라는 문구를 이상하게 해석합니다.

두 개의 주사위 이미지의 작은 버튼으로 주사위를 굴리면 같은 문구가 일종의 유기적 인 성격의 하품하는 입과 함께 으스스하고 안개에 뒤덮인 풍경이되지만 정확한 종은 전혀 식별 할 수 없습니다.

주사위를 한 번 더 굴리면 이 기괴한 풍경과 생물이 생성됩니다.

문구를 입력하는 것은 그래픽 칩 대기업 Nvidia가 AI의 최첨단 기술을 보여주기 위해 개발한 알고리즘인 GauGAN을 제어하는 최신 방법입니다. 원래 GauGAN 프로그램은 2019년 초에 그림을 그리고 프로그램이 그림을 채워 사실적인 이미지를 자동으로 생성하도록 하는 방법으로 도입되었습니다.

이름에서 "GAN"이라는 용어는 2014년 이안 굿펠로우(Ian Goodfellow)와 동료들이 도입한 생성적 적대 신경망(generative adversarial networks)이라고 하는 광범위한 종류의 신경망 프로그램을 나타냅니다. GAN은 서로 다른 목적으로 작동하는 두 개의 신경망을 사용하며, 하나는 두 번째 신경망이 출력이 유효하다고 표시할 때까지 꾸준히 개선되는 출력을 생성합니다. 앞뒤의 경쟁적인 성격 때문에 그들은 "적대적"이라고 불립니다.

Nvidia는 2018년 매우 사실적인 사람 가짜 사진을 생성할 수 있는 "Style-GAN"을 도입하는 등 GAN을 확장하는 선구적인 작업을 수행했습니다. 이 연구에서 신경망은 얼굴의 높은 수준의 측면과 피부색과 같은 낮은 수준의 측면을 "학습"했습니다. 

2019년의 오리지널 GauGAN에서 Nvidia는 유사한 접근 방식을 사용하여 세분화 맵으로 알려진 영역으로 풍경을 그릴 수 있습니다. 호수, 강, 들판과 같은 기본 물체를 포함하는 이러한 높은 수준의 추상화는 구조적 템플릿이 되었고, GauGAN 프로그램은 그려진 세분화 맵을 사실적인 형태로 채웁니다. 

프로그램의 버전 2가 언어를 처리하도록 업데이트되었습니다. 의도는 "해안 잔물결, 절벽"과 같은 풍경과 관련된 합리적인 문구로 GuaGAN 2를 프롬프트하는 것입니다.GauGAN 2 프로그램은 해당 입력과 일치하는 사실적인 장면을 생성하여 응답합니다. 

GauGAN 2는 Nvidia GPU로 구축된 Selene 슈퍼컴퓨터를 사용하여 1,000만 개의 고품질 풍경 이미지를 공급받아 "훈련" 단계에서 개발되었다고 Nvidia는 말합니다.

세분화 맵은 입력된 단어에서 자동으로 생성될 수도 있으므로 원래 GauGAN에서 처음부터 맵을 만들 수 있었던 것과 동일한 방식으로 돌아가서 풍경의 레이아웃을 편집할 수 있습니다. 

Nvidia가 블로그 게시물에서 GauGAN 2에 대해 설명했듯이 텍스트와 이미지 및 세분화 맵의 조합은 다중 양식 AI의 돌파구입니다.

GauGAN2는 세분화 매핑, 인페인팅 및 텍스트-이미지 생성을 단일 모델에 결합하여 단어와 그림이 혼합된 사실적인 예술을 만들 수 있는 강력한 도구입니다. 이 데모는 텍스트, 의미론적 세분화, 스케치 및 스타일과 같은 여러 양식을 단일 GAN 프레임워크 내에서 결합한 최초의 데모 중 하나입니다. 이를 통해 아티스트의 비전을 고품질 AI 생성 이미지로 더 빠르고 쉽게 변환할 수 있습니다.

Nvidia에 따르면 실질적인 이점은 그림을 전혀 그리지 않고도 몇 개의 단어를 사용하여 기본 이미지를 함께 얻은 다음 세부 사항을 조정하여 최종 출력을 구체화할 수 있다는 것입니다.

그러나 "ZDNet"과 같이 풍경과 아무 관련이 없는 단어를 추가하면 취향에 따라 때로는 역겨운 기괴함, 때로는 소름 끼치는 아름다움을 지닌 미친 인공물이 생성되기 시작합니다. 딥 러닝(Deep Learning) 용어로, 무의미한 문구에 의해 생성되는 기이한 이미지는 프로그램이 기계에 공급되는 훈련 데이터에 포착되지 않은 "배포 밖"의 언어와 씨름해야 하는 결과입니다. 화해할 수 없는 문구에 직면한 프로그램은 이미지를 문구와 일치시키는 데 어려움을 겪고 있습니다.

일련의 이미지에서 볼 수 있듯이 "해안 잔물결 절벽"은 처음에는 매우 충실한 이미지를 생성합니다. 자전거, 뉴욕, 카산드라라는 이름 등 무례한 단어로 수식어를 붙이는 것은 풍경을 이상한 방식으로 바꾸고 형성하기 시작한다. 

GauGAN2에 의한 "coast ripples cliffs"라는 문구의 자동 출력.

GauGAN2에 의한 "해안 잔물결, 절벽, 자전거, 뉴욕, 카산드라, 드릴, 비행기, 현명하게, 공압, 허세"라는 문구의 자동 출력.

더 흥미로운 일은 모든 풍경 단어가 제거되고 무의미한 것만 남을 때 발생합니다. 낯설고 미래적인 풍경이나 형형색색의 아메바가 눈에 들어옵니다.

"카산드라 드릴 비행기, 현명하게 공압, 허세를 부리는"이라는 문구에 대한 GauGAN2의 자동 출력.

"과시"라는 단어에 대한 GauGAN2의 자동 출력.

"과시적인"이라는 단어에 대한 GauGAN2의 자동 출력

"wisely pneumatic ostentious"라는 문구에 대한 GauGAN2의 자동 출력.

"wisely pneumatic ostentious"라는 문구에 대한 GauGAN2의 자동 출력.

이 실험은 정확히 설명적이지 않고 암시적인 확장된 문구를 사용하여 훨씬 더 나아갈 수 있습니다. T.S. 엘리엇(T.S. Eliot)의 시 '황무지(The Wasteland)'의 첫 줄에 "4월은 죽은 땅에서 라일락을 키우는 가장 잔인한 달이다"를 인용해 보세요.

그 결과 실제로 다소 적절한 인상적인 이미지가 탄생했습니다. 주사위를 굴리면 적절한 풍경의 많은 변형이 나타나며 어떤 경우에는 약간의 인공물만 있습니다.

"4월은 죽은 땅에서 라일락을 낳는 가장 잔인한 달이다", T.S. 엘리엇, 황무지.

StyleGAN의 혁신 덕분에, GauGAN은 이미지에 스타일을 적용할 수 있으며, 매시업과 같은 다른 이미지의 형태로 출력을 본질적으로 조절할 수 있습니다. 

엘리엇의 시에 스타일을 적용하는 것은 충실한 풍경 이미지를 인식할 수 없을 정도로 왜곡한다. 다시 한 번, 수많은 기이한 물체들이 그들 중 일부에게는 일종의 역겨운 유기적 품질로 나타나고, 다른 일부는 단순히 한때 이미지였던 것의 부서진 파편으로 나타납니다.

GauGAN 2에서 이미지를 제출하고 자유형 그리기를 수행할 수도 있습니다. 고대 아이슬란드 의회가 있던 씽벨리르(Þingvellir)에서 찍은 오래된 사진을 제출하는 것은 별 도움이 되지 않았습니다. 이미지는 제한된 테스트에서 대부분 변형되지 않은 상태로 유지되었습니다.

고대 아이슬란드 의회가 있던 곳인 씽벨리르(Þingvellir)에서 촬영한 사진은 GauGAN2에 제출했을 때 대부분 변경되지 않았습니다.

하지만 "씽벨리르(Þingvellir)"라는 단어를 덧붙이면 씽벨리르(Þingvellir) 유적지와 어울리는 사실적인 풍경이 완성되었습니다.

"Þingvellir"라는 단어에 대한 GuaGAN2 출력은 고대 아이슬란드 풍경의 정신이었습니다.

"화산"이라는 단어를 추가하면 덜 현실적이고 더 초현실적인 눈에 띄는 대안 풍경이 생성되었습니다.

"Þingvellir volcano"에 대한 GuaGAN2 자동 출력.

'기술'과 같은 무례한 단어를 추가하면 이상한 말도 안 되는 수치가 추가되어 풍경이 더욱 흔들렸습니다. 

"Þingvellir technology"라는 문구에 대한 GauGAN2 자동 출력.

풍경 사진을 제출하는 대신 원래 GauGAN의 경우와 같이 그림을 그릴 수 있습니다. 다시 말하지만, 풍경이 아닌 사람의 머리 그림과 같이 데모와 일치하지 않는 것이 더 흥미로운 결과를 생성합니다. 얼굴 그림은 원하는 경우 매시업 기능을 사용하여 다시 스킨을 적용할 수 있습니다. 주사위를 굴리면 흥미로운 변형이 생성되었습니다.

GauGAN2에서 직접 그리기.

GauGAN2의 레이어 기능을 사용하여 다시 스키닝한 머리 그리기.

GauGAN2의 레이어 기능을 사용하여 다시 스키닝한 머리 그리기.

 그림에 "Þingvellir"라는 단어를 결합하면 "화산"과 "균열"과 같은 단어를 추가하는 것과 마찬가지로 미묘한 변화가 생겼습니다.이미지는 일종의 화산과 같은 질감을 갖도록 다시 스킨을 입혔습니다. 

"Þingvellir volcano rift"라는 단어와 결합된 머리 그림과 GauGAN2의 레이어 기능을 사용하여 다시 스킨을 입혔습니다.

앱의 사용자 인터페이스는 데스크톱 브라우저에서 스크롤하기 어려울 수 있습니다. 어떤 이유로 iPad와 같은 태블릿 브라우저에서 더 잘 작동하는 것 같습니다.