Google DeepMind의 새로운 RT-2 시스템을 통해 로봇은 새로운 작업을 수행할 수 있습니다.

우리는 터미네이터 영화의 줄거리를 실제로 구현하는 데 가까워지고 있습니까?

인공지능이 발전함에 따라 우리는 그 어느 때보다 더 많은 로봇과 자동화가 구현되는 미래를 기대하고 있습니다. 집 안을 전문적으로 탐색할 수 있는 로봇 청소기, 털복숭이 친구들을 즐겁게 해줄 반려 로봇, 주말 집안일을 대신할 로봇 잔디깎이 등이 이미 우리를 둘러싸고 있습니다. 우리는 실제 생활에서 The Jetsons를 살아가는 방향으로 조금씩 나아가고 있는 것 같습니다. 그러나 이 로봇은 겉보기에는 똑똑해 보이지만 한계가 있습니다.

Google DeepMind는 로봇 게임을 효과적으로 여러 수준으로 끌어올릴 수 있는 로봇 제어를 위한 최초의 VLA(비전-언어-동작) 모델인 RT-2를 공개했습니다. 시스템은 ChatGPT 및 Bing과 같은 AI 챗봇 뒤에 있는 대규모 언어 모델이 훈련되는 것과 마찬가지로 인터넷의 텍스트 데이터와 이미지에 대해 훈련되었습니다.

집에 있는 로봇은 수행하도록 프로그래밍된 간단한 작업을 수행할 수 있습니다. 예를 들어 바닥을 진공 청소기로 청소하고 왼쪽 센서가 벽을 감지하면 벽을 돌아보세요. 그러나 기존 로봇 제어 시스템은 새로운 상황과 예상치 못한 변화를 처리하도록 프로그래밍되어 있지 않습니다. 종종 한 번에 두 가지 이상의 작업을 수행할 수 없습니다.

RT-2는 시간이 지남에 따라 새로운 상황에 적응하고, 웹 및 로봇 공학 데이터와 같은 여러 데이터 소스에서 학습하여 언어와 시각적 입력을 모두 이해하고, 한 번도 경험하지 않았거나 수행하도록 훈련받은 작업을 수행하도록 설계되었습니다.

"웹 규모 데이터로 사전 훈련된 VLM(시각 언어 모델)은 RT-1 로봇 공학 데이터로부터 학습하여 로봇을 제어할 수 있는 VLA(시각 언어 동작) 모델인 RT-2가 됩니다." Google에서 딥마인드.

전통적인 로봇은 공을 집고 큐브를 집을 때 넘어지도록 훈련될 수 있습니다. RT-2의 유연한 접근 방식을 통해 로봇은 공을 집는 방법을 훈련할 수 있으며 이전에 본 적이 없는 큐브나 다른 장난감을 집기 위해 사지를 조정하는 방법을 알아낼 수 있습니다.

기존 로봇이 물체를 물리적으로 인식하고 물체를 집는 방법을 배워야 하는 수십억 개의 데이터 포인트에 대한 시간 소모적인 실제 훈련 대신, RT-2는 대량의 데이터에 대해 훈련을 받고 다음 작업을 수행할 수 있습니다. 그 지식을 행동으로 옮기고 이전에 경험하지 못한 작업을 수행합니다.

Google DeepMind의 로봇공학 책임자인 Vincent Vanhoucke는 "정보를 행동으로 전달하는 RT-2의 능력은 로봇이 새로운 상황과 환경에 더욱 신속하게 적응할 수 있다는 가능성을 보여줍니다."라고 말했습니다. "6,000회 이상의 로봇 실험에서 RT-2 모델을 테스트한 결과 팀은 훈련 데이터의 작업 또는 '본' 작업에서 RT-2가 이전 모델인 RT-1만큼 작동한다는 사실을 발견했습니다. 그리고 거의 두 배로 늘어났습니다. 새롭고 보이지 않는 시나리오에서의 성능은 RT-1의 32%에서 62%로 향상되었습니다."

Google DeepMind에서 게시한 RT-2의 일부 예입니다.

DeepMind 팀은 RT-2를 교육하기 위해 PaLI-X(Pathways Language and Image Model)와 PaLM-E(Pathways Language Model Embodied)라는 두 가지 기존 모델을 채택했습니다. PaLI-X는 모델이 온라인에서 해당하는 설명 및 라벨과 함께 방대한 양의 이미지 및 시각적 정보에 대해 훈련된 시각적 데이터를 처리하도록 돕습니다. PaLI-X를 사용하면 RT-2는 다양한 물체를 인식하고 주변 장면의 맥락을 이해하며 시각적 데이터를 의미론적 설명과 연결할 수 있습니다.

PaLM-E는 RT-2가 언어를 해석하는 데 도움을 주므로 지침을 쉽게 이해하고 주변에 있는 것과 현재 수행 중인 작업과 연관시킬 수 있습니다.

DeepMind 팀은 이 두 모델을 RT-2의 백본으로 작동하도록 조정하면서 새로운 VLA 모델을 만들었습니다. 이를 통해 로봇은 언어와 시각적 데이터를 이해하고 이후에 필요한 적절한 작업을 생성할 수 있습니다.

RT-2는 그 자체로 로봇이 아니라, 이전보다 더 효율적으로 로봇을 제어할 수 있는 모델입니다. RT-2 지원 로봇은 시각적 및 언어 데이터를 사용하여 문서의 라벨을 읽고 파일을 알파벳순으로 정리한 다음 올바른 위치에 보관하는 등 다양한 복잡성의 작업을 수행할 수 있습니다.

복잡한 작업도 처리할 수 있습니다. 예를 들어, "이 패키지를 우편으로 보내야 하는데 우표가 부족해요."라고 말하면 RT-2는 먼저 해야 할 일(우표를 파는 근처 우체국이나 상인을 찾는 등)을 식별할 수 있습니다. 포장하고 거기에서 물류를 처리합니다.

Vanhoucke는 "RT-2는 AI의 발전이 로봇 공학에 얼마나 빠르게 적용되는지 보여줄 뿐만 아니라 보다 범용적인 로봇에 대한 엄청난 가능성을 보여줍니다."라고 덧붙였습니다.

'약속'이 터미네이터의 음모보다 젯슨의 음모를 실현하는 데 더 많이 기울기를 바랍니다.