Gemini와 같은 AI 모델에서 긴 컨텍스트 창이 무엇을 의미합니까?

AI 모델과 챗봇에 익숙하신 분들이라면 '컨텍스트'라는 용어가 익숙했던 것과는 다르게 사용되는 것을 들어보셨을 것입니다. 이것이 의미하는 바는 다음과 같습니다.

Google은 방금 Gemini Advanced 서비스를 100만 컨텍스트 모델로 업그레이드하고 곧 200만 개로 늘릴 것이라고 발표했습니다.

TV 시리즈를 폭음으로 시청했지만 한 번에 한 에피소드만 기억할 수 있다고 상상해 보세요. 다음 에피소드로 넘어갈 때, 방금 시청한 모든 내용을 즉시 잊어버리게 됩니다. 이제 해당 TV 프로그램에서 시청한 모든 에피소드와 시즌을 기억할 수 있다고 상상해 보세요. 이를 통해 스토리, 캐릭터, 우여곡절을 이해할 수 있습니다.

인공지능(AI) 모델을 논할 때, 한 번에 하나의 에피소드만 기억하고 다음 에피소드로 넘어갈 때 강제로 잊어버리는 능력은 짧은 맥락 창을 나타냅니다. 시리즈의 모든 에피소드를 기억하는 것은 큰 맥락, 즉 긴 맥락 창을 가진 AI 모델을 나타냅니다.

간단히 말해서 컨텍스트 창이 길다는 것은 모델이 한 번에 많은 정보를 기억할 수 있다는 것을 의미합니다.

긴 컨텍스트 창과 그것이 봇이나 다른 시스템의 성능에 어떤 영향을 미치는지 자세히 알아보려면 AI에서 컨텍스트가 나타내는 것이 무엇인지 아는 것이 필요합니다.

ChatGPT, Gemini 챗봇, Microsoft Copilot과 같은 AI 시스템은 AI 모델(이 경우 각각 GPT-3.5, Gemini 및 GPT-4)을 기반으로 구축되었습니다. 이러한 모델은 본질적으로 시스템의 두뇌 역할을 하며, 지식을 보유하고, 대화 내 정보를 기억하고, 사용자의 쿼리에 적절하게 응답합니다.

AI의 맥락은 AI가 처리하고 있는 현재 데이터에 의미와 관련성을 부여하는 정보를 의미합니다. 응답을 결정하거나 생성할 때 모델이 고려하는 정보입니다.

컨텍스트는 토큰으로 측정되며 컨텍스트 창은 모델이 한 번에 고려하거나 처리할 수 있는 최대 토큰 수를 나타냅니다. 각 토큰은 언어에 따라 단어 또는 단어의 일부를 나타냅니다. 영어에서는 하나의 토큰이 하나의 단어를 나타내는 경향이 있으므로 16,000(16k) 토큰 창이 있는 GPT-4와 같은 AI 모델은 대략 12,000개의 단어를 처리할 수 있습니다.

토큰화 방법, 즉 단어를 계산하고 토큰으로 변환하는 방법은 시스템에 따라 다릅니다. 다음은 토큰화 방법의 예입니다.

약 12,000 단어를 처리할 수 있는 AI 챗봇은 3,000 단어의 기사나 5,000 단어의 연구 논문을 요약한 후 사용자가 공유한 문서에 있던 내용을 잊지 않고 후속 질문에 답할 수 있습니다. 대화 전반에 걸쳐 이전 메시지의 토큰이 고려되어 논의 중인 내용에 대한 컨텍스트를 봇에 제공합니다.

따라서 대화가 토큰 한도 내에서 유지되면 AI 챗봇은 전체 컨텍스트를 유지할 수 있습니다. 그러나 토큰 제한을 초과하면 가장 빠른 토큰이 무시되거나 기간 내에 머물기 위해 손실될 가능성이 높으므로 봇은 잠재적으로 일부 컨텍스트를 잃을 수 있습니다.

이것이 바로 Google이 Gemini 1.5 Pro의 백만 토큰이라는 큰 컨텍스트 창을 자랑스럽게 광고하는 이유입니다. Google CEO Sundar Pichai에 따르면 토큰 100만 개는 Gemini Advanced 챗봇이 30,000줄 이상의 코드, 최대 1,500페이지 길이의 PDF 또는 96개의 치즈케이크 팩토리 메뉴를 처리할 수 있음을 의미합니다.