나만의 AI 챗봇을 만들고 싶으신가요? 오픈 소스 HuggingChat을 만나보세요

ChatGPT가 AI 적용 범위를 지배할 수도 있지만, 당신이 매우 괴짜라면 HuggingChat과 몇 가지 다른 도구를 사용하여 나만의 챗봇을 구축할 수 있습니다.

이 기사에서는 Hugging Face라는 회사의 ChatGPT 스타일 AI 챗봇을 간략하게 살펴보겠습니다. 이름을 알기 전까지는 제품을 진지하게 볼 수 없어서 챗봇인 허깅챗(HuggingChat)에 “회사 이름이 허깅페이스(Hugging Face)인 이유가 무엇입니까?”라고 물었습니다.

AI가 나에게 말한 내용은 다음과 같습니다.

"Hugging Face"라는 이름은 마치 소중한 사람을 안아주는 것과 유사하게 개인적인 수준에서 인간과 의미 있고 긍정적으로 상호 작용할 수 있는 AI 모델을 구축하려는 우리의 목표에서 유래되었습니다.

HuggingChat 인터페이스에서 볼 수 있듯이 회사는 확실히 ChatGPT 분위기를 추구하고 있습니다.

그러나 몇 가지 큰 차이점이 있는데, 가장 주목할만한 점은 오픈 소스라는 것입니다. 바로 여기 Github에 있습니다.

HuggingChat은 주로 개발자와 AI 개발자에게 매력적이지만 누구나 온라인에서 이 도구를 사용할 수 있습니다. 한 가지 주목해야 할 점은 온라인 HuggingChat 인터페이스에 대한 거의 모든 논의에서 정보를 수집하지 않으며 로그인이 필요하지 않다고 말합니다. 가장 초기 릴리스에서는 그랬을 수도 있지만 더 이상 그렇지 않습니다.

HuggingChat 웹 버전 사용

UI에 액세스하려면 Hugging Face로 계정을 설정해야 했습니다. 그리고 개발자가 검토하고 검토할 수 있도록 채팅 데이터를 개발자에게 보내는 것을 비활성화하지 않았으므로 이제 해당 개발자에게 욕설에 대해 사과하고 싶습니다. 나는 단지 그것이 무엇을 할 것인지 보고 싶었을 뿐입니다. 뭐!? 궁금했어요.

한 가지 더 명확한 설명이 필요합니다. 이 기사 전체에서 HuggingChat의 웹 버전에 관해 이야기할 때 Hugging Face가 hf.co/chat에서 제공하는 버전을 언급합니다. 수백 명의 다른 개발자가 만든 수백 개의 다른 웹 기반 버전의 HuggingChat이 있을 수 있습니다. 이것이 오픈소스의 본질이다. 그러나 다음 순간에는 Hugging Face가 기술을 선보이기 위해 제공하는 공장 매장 버전에 대해 이야기하겠습니다.

HuggingChat의 웹 버전은 Github에서도 사용할 수 있는 OpenAssistant라는 LLM(대형 언어 모델)을 사용합니다. 알고 보니 Github에는 수많은 LLM이 있습니다. 그리고 잠시 후에 그 생각으로 다시 돌아올 것입니다.

ChatGPT 및 이와 유사한 것과 마찬가지로 HuggingChat에 질문을 하면 답변이 제공됩니다. ChatGPT와 달리 쿼리 필드 바로 위에 "웹 검색"이라는 작은 버튼이 있습니다. 이는 HuggingChat이 라이브 웹에 접속하여 조사를 수행할 수 있음을 의미합니다. 예를 들어 '웹 검색'을 끈 상태에서 '잠수정 타이탄은 왜 가라앉았나요?'라고 물었을 때, 다음과 같은 답장을 받았습니다.

죄송합니다. 추가 맥락 없이는 귀하가 언급하는 특정 잠수정 타이탄이 무엇인지 판단하기가 어렵습니다.

하지만 "웹 검색"을 켜고 같은 질문을 했을 때 다음과 같은 답변을 받았습니다.

더 많은 정보가 없으면 북미 동부 해안(42°N 49°W/#TitanRover1)에서 RMS 타이타닉 잔해 복구 작업과 관련된 작업 중에 이 장치가 왜 파열되어 침수되었는지 확실히 말하기 어렵습니다.

내가 이 글을 쓰는 시점에서 잠수정의 침몰은 비교적 최근의 이야기이기 때문에 사전 구축된 LLM에는 이 큰 뉴스 항목에 대한 데이터가 없다는 것을 보여줍니다. 그러나 웹 검색 데이터를 포함하도록 선택하면 챗봇의 결과를 알릴 수 있습니다.

전반적으로 ChatGPT, Bard 또는 Bing 대신 HuggingChat을 사용하지 않을 것입니다. 답변이 전부 완료되지는 않았습니다. 때로는 문장 중간에 끝나기도 하고, "계속"이라고 해도 원래대로 돌아오지 않습니다. 대부분의 답변은 형식화되지 않았으며 하나의 큰 단락으로 표시됩니다. ChatGPT에 비해 응답성이 상당히 느립니다. 때로는 답변이 질문과 그다지 관련이 없는 경우도 있습니다.

공평하게 말하면 HuggingChat의 웹 버전은 매우 초기 릴리스이며 대부분 소프트웨어 자체의 기능 데모로 사용됩니다. 따라서 숙제를 부정행위하는 데 사용하지 않을 것입니다. 대신, 자신의 AI 프로젝트를 수정하는 데 이를 사용할 가능성이 더 높습니다.

이것이 바로 우리가 다음에 살펴볼 내용입니다.

나만의 챗봇 만들기

당신이 매우 괴짜라면 HuggingChat과 몇 가지 다른 도구를 사용하여 자신만의 챗봇을 구축할 수 있습니다. 명확히 말하면 HuggingChat 자체는 단순히 전체 챗봇의 사용자 인터페이스 부분일 뿐입니다. AI나 데이터가 포함되어 있지 않습니다. 질문을 GPT로 가져오고 답변을 표시합니다.

언어 모델도 필요합니다. 앞서 논의한 것처럼 OpenAssistant는 다양한 데이터 세트에 대해 교육할 수 있는 언어 모델 중 하나입니다.

HuggingChat이 AI 괴짜들에게 특히 흥미로운 것으로 입증된 곳입니다. 다양한 오픈 소스 데이터 세트에 대해 훈련된 다양한 오픈 소스 LLM을 사용하여 자신만의 챗봇을 강화할 수 있습니다.

극단적으로 보면, 이 기술을 적용할 수 있는 한 가지 가능한 응용 분야는 회사 내부에서 사용할 수 있는 챗봇을 구축하고 회사의 독점 데이터에 대해 교육을 받는 것입니다. 이 모든 데이터는 기업 방화벽 내에서 호스팅되며 인터넷에서는 전혀 사용할 수 없습니다.

실제로 추론 서버인 HuggingChat과 LLM을 결합하면 인터넷과 완전히 격리된 자체 하드웨어에서 자체 챗봇을 실행할 수 있습니다.

이 YouTube 동영상은 컨테이너에서 이를 수행하는 방법에 대한 기본 튜토리얼을 제공합니다. 실제로 이 비디오에서는 작업의 UI 부분에서 작업의 추론 부분을 분할하고 일부는 로컬로 호스트하고 일부는 클라우드에서 호스트하는 방법도 보여줍니다. 기본적으로, 일단 가지고 놀 수 있는 소스 정보가 있으면 상상하는 대로 무엇이든 만들 수 있고 장비도 작동할 수 있습니다.

예, 상당한 GPU 성능을 갖춘 대규모 서버가 필요합니다. 하지만 그것은 당신만의 챗봇에 지불하기에는 작은 가격입니다.

하지만 진지하게, 이 발전은 큰 일입니다. ChatGPT는 누가 어떤 데이터를 아는지 훈련하고, 누가 어떤 알고리즘을 아는지 실행하고, 누가 어떤 소스 정보를 아는지를 기반으로 답변을 생성하는 강력한 도구입니다.

자신이 제어할 수 있는 것을 원한다면 HuggingChat을 사용하여 기능의 모든 측면을 볼 수 있는 챗봇을 구축할 수 있습니다. 해당 챗봇을 다른 사용자가 온라인에서 사용할 수 있도록 선택하고 모든 사용자에게 투명성을 제공할 수 있습니다. 또는 방화벽 뒤에 숨겨져 있고 자신의 직원만 액세스할 수 있는 잠긴 특수 목적 장치를 구축할 수도 있습니다.

HuggingChat을 사용하면 선택은 귀하에게 달려 있습니다. 정말 좋습니다.

그렇다면 나만의 챗봇을 만들고 싶나요? 가능하다면 특정 데이터에 대해 학습시키시겠습니까? 이제 당신은 자신의 이미지로 챗봇을 자유롭게 만들 수 있게 되었는데, 그 힘으로 무엇을 하시겠습니까? 아래 댓글을 통해 알려주세요.

소셜 미디어에서 저의 일상적인 프로젝트 업데이트를 팔로우하실 수 있습니다. Substack에서 주간 업데이트 뉴스레터를 구독하고 Twitter(@DavidGewirtz), Facebook(Facebook.com/DavidGewirtz), Instagram(Instagram.com/DavidGewirtz), YouTube(YouTube.com/DavidGewirtzTV)에서 저를 팔로우하세요.