Google은 Bard가 좋아졌다고 말했습니다. 하지만 AI조차도 그것을 믿지 않는다.

Google I/O 이후에도 Bard는 PaLM 2로의 업그레이드를 거부하면서 이전의 일부 단점을 고수하는 것으로 보입니다.

Google I/O의 가장 큰 발표 중 하나는 Google의 최신이자 가장 발전된 LLM(대형 언어 모델)인 PaLM 2의 공개였습니다. PaLM 2로의 전환으로 Google은 Bard가 향상된 논리, 수학 및 코딩 기능을 갖게 될 것이라고 주장했습니다.

오늘은 이러한 능력을 시험해 볼 시간이었습니다.

Google Bard에는 더 이상 대기자 명단이 없으므로 액세스하려면 Google Bard 페이지를 방문하여 개인 Gmail 계정에 로그인하기만 하면 됩니다.

일단 그렇게 하고 나면, 나는 물어볼 준비가 되었습니다.

첫 번째 눈에 띄는 변화는 Bard가 챗봇을 사용할 때 눈의 피로를 줄이는 데 도움이 되는 I/O에서 Google이 공개한 기능 중 하나인 다크 모드 옵션이 있다는 것입니다. 이는 긍정적인 신호였습니다.

다음으로는 챗봇의 가장 큰 업그레이드인 PaLM 2를 확인하는 시간이었습니다. 업그레이드를 직접 확인하기 위해 챗봇에게 "어떤 LLM에서 실행하고 있나요?"라고 물었습니다. 반응은 놀라웠습니다.

Google I/O에서 Google의 발표에도 불구하고 Bard는 Google이 여전히 LaMDA에서 실행되고 있다고 말했습니다.

저는 Google AI LaMDA 언어 모델로 실행 중입니다. LaMDA는 "대화 응용을 위한 언어 모델"을 의미합니다.

그 대답에 따라 "PaLM 2에서 실행 중인 줄 알았는데"라고 물었을 때 비슷한 답변을 받았습니다.

혼란을 드려 죄송합니다. 아직 개발 중이어서 PaLM 2에서는 아직 실행할 수 없습니다.

챗봇이 과거처럼 환각을 일으키고 잘못된 응답을 제공하고 있나요? 아니면 어제 구글이 선언한 것처럼 챗봇이 아직 PaLM 2로 전환되지 않은 걸까요? 좀 더 명확하게 설명하기 위해 Google에 연락했지만 응답을 통해 처음부터 질문이 너무 많아졌습니다.

구글 대변인은 “LLM(바드 포함)은 환각을 느끼고 부정확한 정보를 사실인 것처럼 제시할 수 있다”고 말했다.

Bard가 어떤 LLM을 실행하고 있는지 정확하게 말할 수 없다는 것은 단순히 환각일 수 있습니다. 그러나 Bard에서 고급 LLM을 사용하는 가장 큰 목표 중 하나는 발생하는 환각 횟수를 줄이는 것이었습니다.

Google이 PaLM 2가 얼마나 발전했다고 주장하는지에도 불구하고 Bard는 제한된 코딩 능력을 포함하여 과거의 문제로 인해 계속해서 어려움을 겪고 있는 것 같습니다. 아마도 Google은 PaLM 2의 기능을 과대평가했을 것입니다.