ChatGPT: New York Times와 다른 사람들이 이에 대해 크게 오해하고 있는 것

AI 프로그램은 출력물을 스타일이나 "페르소나"로 표현할 수 있지만, 숨가쁜 보고에서 주장하는 것처럼 "불안"하지도 않고 "두려워하지"도 않습니다. 실제로 일어나는 일은 다음과 같습니다.

인간처럼 보이는 텍스트를 생성하는 인공 지능 프로그램인 OpenAI의 ChatGPT는 최근 Microsoft의 Bing 검색 베타에서 실행되는 버전이 일부 사용자가 불편하다고 생각하는 기괴한 출력을 생성하기 시작하면서 새로운 논란을 불러일으켰습니다.

불행하게도 챗봇에 대한 일부 보고는 그 자체로 혼란스럽습니다. 관심을 끌 수 있는 방식으로 챗봇에 대한 모든 새로운 세부 사항을 서두르면서 기자들은 대중에게 해를 끼치는 방식으로 AI에서 무슨 일이 일어나고 있는지 알리지 않고 실제로 모호하게 하는 극적인 언어를 적용하고 있습니다.

대표적인 예는 작가 Kevin Roose가 Bing 베타 버전에서 2시간 동안 진행한 세션을 직접 보고한 The New York Times 출판물입니다. Roose는 세션 중에 프로그램에서 '시드니'라는 별명으로 성격을 드러냈고 Roose에 대한 사랑을 공언했으며 Roose의 결혼에 대해 공격적인 암시를 계속했다고 말했습니다.

Roose는 교환의 결과로 "매우 불안하고 심지어 겁이 났다"고 말했습니다.

그 과장법은 오해의 소지가 있습니다. Roose가 주장하는 것처럼 그가 AI의 작동 방식을 이해한다면 그렇게 극적인 언어를 사용할 이유가 없습니다. 이상한 말투로 바꾸는 것은 부적절할 수 있지만, 이는 "페르소나"로 알려진 챗봇의 잘 알려진 측면입니다.

ChatGPT와 같은 AI 챗봇은 명령 프롬프트에서 사람이 제공하는 기호의 보완 또는 연속일 가능성이 가장 높은 기호 문자열에서 다음 기호를 생성하도록 프로그래밍되어 있습니다. 프로그램이 출력을 생성하는 방식은 페르소나인 특정 장르나 스타일에 맞게 성형될 수 있습니다.

예를 들어, 1월 arXiv에 게시된 연구 논문에서 IBM 과학자들은 GitHub에서 5,400만 개의 소프트웨어 코드 예제를 수집하여 개발된 Codex라는 OpenAI 프로그램의 또 다른 버전을 사용했습니다. Codex 프로그램은 프로그래밍을 지원하기 위해 Microsoft의 GitHub Copilot 프로그램에 사용됩니다.

IBM Research의 수석 저자인 Steven Ross와 동료들은 단순히 컴퓨터 코드를 제공하는 것 이상의 상호 작용을 생성하기 위해 Codex 프로그램을 얻을 수 있는지 궁금해했습니다. 그들은 자신들의 시도를 "대화형 프로그래밍 보조자의 페르소나 엔지니어링에 관한 사례 연구"라고 불렀고 Codex를 "프로그래머 보조자"로 개조한 것이라고 불렀습니다.

과학자들이 단어 문자열을 입력하는 프롬프트는 그들이 Codex 프로그램 버전에 맞게 페르소나를 "프로그래밍"하는 방식입니다.

"프로그래머 어시스턴트에 사용하는 초기 프롬프트는 대화 장면을 소개하고, 어시스턴트의 페르소나를 설정하고, 상호 작용을 위한 톤과 스타일을 설정하는 프롤로그로 구성됩니다."

"이것은 전문 자동 AI 소프트웨어 엔지니어링 보조자인 소크라테스와의 대화입니다"라는 프롬프트를 시작했을 때 프로그램은 ChatGPT와 같은 대화로 응답했지만 저자는 그것이 일종의 지식인, 너무 "교훈적"이라고 느꼈습니다. 모두.

그래서 그들은 "이것은 열심이고 도움이 되는 전문 자동 AI 소프트웨어 엔지니어링 보조자인 소크라테스와의 대화입니다..."라는 메시지를 수정했고 원하는 어조를 더 많이 얻었음을 발견했습니다.

즉, 페르소나는 ChatGPT와 마찬가지로 Codex와 같은 프로그램에 인간 대담자가 입력하는 바로 그 단어에 의해 생성되는 것입니다. 이러한 프로그램은 다양한 방식으로 인간의 입력과 일치할 수 있는 출력을 생성합니다. 일부는 적절하고 일부는 덜 적합합니다.

실제로 ChatGPT와 같은 언어 프로그램의 작동 방식을 형성하기 위한 프롬프트 작성이라는 새로운 분야가 있으며, 프롬프트를 사용하여 프로그램을 잘못된 방향으로 밀어서 해당 프로그램이 지침을 위반하도록 만드는 것을 목표로 하는 컴퓨터 크래킹 분야도 있습니다.

Roose의 설명처럼 프로그램의 출력이 명백히 거짓이거나 잠재적으로 부적절할 수 있는 '환각'에 챗봇과 기타 AI 언어 프로그램이 어떻게 굴복할 수 있는지에 대한 문헌도 늘어나고 있습니다.

지난 11월 홍콩대학교 인공지능 연구실 연구원들이 작성한 보고서에서는 그러한 프로그램이 환각을 일으킬 수 있는 다양한 방식을 조사했습니다. 일반적인 소스는 프로그램에 수많은 Wikipedia 요약 상자가 제공되고 해당 요약 상자가 Wikipedia 기사의 시작 문장과 일치하는 경우입니다.

요약과 첫 문장 사이에 불일치가 있고 기사의 첫 번째 문장 중 62%에 요약 상자에 없는 추가 정보가 있는 경우 "데이터 세트의 소스와 대상 간의 이러한 불일치는 환각으로 이어질 수 있습니다."라고 저자는 썼습니다. .

이 모든 것의 요점은 챗봇에서 그러한 프로그램이 놀라운 말을 하는 데에는 기술적인 이유가 있다는 것입니다. 그러한 말 뒤에는 사용자를 스토킹하거나 위협하려는 의도가 없습니다. 프로그램은 단지 논리적 연속이 될 수 있는 일련의 단어에서 다음 단어를 선택하는 것뿐입니다. 실제로 그것이 논리적인지 여부는 프로그램이 들어간 페르소나에 의해 영향을 받을 수 있습니다.

기껏해야 "매우 불안하다", "두렵다"라는 극단적인 말을 사용하는 보도는 무슨 일이 일어나고 있는지 설명하지 못하고 대중은 실제로 무슨 일이 일어났는지 알 수 없게 됩니다. 설상가상으로, 이러한 언어는 2022년 전 Google 직원인 Blake Lemoine이 OpenAI와 유사한 프로그램인 Google의 LaMDA 프로그램이 "지각적"이라고 주장하면서 제기한 컴퓨터 "감각"에 대한 일종의 잘못된 믿음을 암시합니다.

흥미롭게도 Lemoine과 Times의 Roose는 모두 화면 앞에서 엄청난 시간을 보낸다는 사실에 그다지 관심을 기울이지 않습니다. IBM 연구에서 알 수 있듯이 확장된 상호 작용은 프로그램의 페르소나를 형성하는 역할을 합니다. 즉, 지각 있는 의도가 아니라 단어의 확률 분포를 변경하는 입력 행위를 통해 이루어집니다.

이러한 비판에 대해 마이크로소프트는 개인이 빙과 대화할 수 있는 횟수에 제한을 두었습니다.

ChatGPT를 둘러싼 열광은 다소 인간이 자신의 행동을 검토하지 않는 산물이기 때문에 그럴 수도 있습니다. AI가 잘못된 출력을 생성한다는 의미에서 환각을 일으킬 수도 있지만, 컴퓨터 모니터 앞에서 2시간 동안 무언가를 입력하는 인간이 실제로 환각을 느끼는 경우가 훨씬 더 많습니다. 사물의 실제 중요성을 훨씬 초과하는 중요성을 부여하고 온갖 종류의 부적절한 연관성으로 주제를 장식합니다.

저명한 기계 학습 평론가이자 NYU 심리학 명예 교수인 Gary Marcus가 지적했듯이, 겁에 질린다는 Roose의 과장법은 단순히 지난 주 프로그램에 대한 작가의 무책임한 칭찬의 이면일 뿐입니다.

언론은 여기서 우리를 실망시켰습니다. 나는 특히 Kevin Roose가 Bing에 대해 "경외감을 느꼈다"고 말한 초기 보고서에 당황했습니다. 확실히 그는 충분히 세게 찌르지 않았다. 뉴욕 타임즈에서 깊이 파고들지 않고 혁명이 있다고 성급하게 외치는 것은(또는 나 같은 회의론자나 훌륭하지만 관련이 없는 Mitchells, Margaret 및 Melanie와 같은 회의론자들에게 확인하려고 애쓰지 않고) 좋은 것이 아닙니다.

Marcus의 전체 기사는 선정적인 시도보다는 철저한 조사를 통해 무슨 일이 일어나고 있는지 분석하고 혼란스러운 주제에 대해 어느 정도 밝혀줄 수 있는 방법을 보여주는 훌륭한 예입니다.