AI가 하룻밤 사이에 주류가 된 10가지 주요 이유 - 그리고 앞으로의 상황

일부 챌린지에서는 GPT-4 기반 모델이 승리했습니다. 다른 경우에는 실패했습니다. 언제 그것에 의지해야 하는지 어떻게 알 수 있습니까?

필자가 실행한 프로그래밍 테스트에서 가장 당혹스러웠던 점은 동일한 대규모 언어 모델을 기반으로 하는 도구가 상당히 다른 성능을 발휘하는 경향이 있다는 것입니다.

예를 들어 ChatGPT, Perplexity 및 GitHub Copilot은 모두 OpenAI의 GPT-4 모델을 기반으로 합니다. 그러나 아래에서 보여주겠지만 ChatGPT와 Perplexity의 프로 플랜은 훌륭하게 수행되었지만 GitHub Copilot은 성공한 만큼 자주 실패했습니다.

VS Code 인스턴스 내에 포함된 GitHub Copilot을 테스트했습니다. 이를 설정하고 GitHub Copilot을 사용하는 방법은 향후 단계별 문서에서 설명하겠습니다. 하지만 먼저 테스트를 실행해 보겠습니다.

내가 테스트하는 방법과 각 개별 테스트에 대한 프롬프트를 알고 싶다면 AI 챗봇의 코딩 능력을 테스트하는 방법을 자유롭게 읽어보십시오 .

TL입니다. DR: GitHub Copilot은 두 개를 통과하고 두 개를 실패했습니다.

테스트 1: 워드프레스 플러그인 작성하기

그래서 이것은 비참하게 실패했습니다. 이것은 첫 번째 테스트 였기 때문에 GitHub Copilot이 코드 작성에 끔찍한지 또는 상호 작용하는 컨텍스트가이 요구 사항을 충족 할 수없는 지점까지 제한되는지 아직 알 수 없습니다.

이제부터 설명해 드리겠습니다.

이 테스트에는 AI에게 관리자 인터페이스 요소와 운영 로직이 완비된 완전한 기능을 갖춘 WordPress 플러그인을 생성하도록 요청하는 작업이 포함됩니다. 플러그인은 이름 집합을 가져와서 정렬하고, 중복이 있는 경우 중복을 분리하여 나란히 있지 않도록 합니다.

이것은 제 아내가 디지털 상품 전자 상거래 비즈니스의 일환으로 매우 활발한 Facebook 그룹에서 실행하는 참여 장치의 일부로 필요한 실제 응용 프로그램이었습니다.

대부분의 다른 AI는 적어도 부분적으로나마 이 테스트를 통과했습니다. 테스트한 10개의 AI 모델 중 5개가 테스트를 완전히 통과했습니다. 그 중 3명은 시험의 일부를 통과했습니다. 2개(Microsoft Copilot 포함)가 완전히 실패했습니다.

문제는 GitHub Copilot에 내가 그들 모두에게 제공하는 것과 동일한 프롬프트를 제공했지만 PHP 코드 만 작성했다는 것입니다. 분명히 말하면이 문제는 PHP 코드를 사용하여 해결할 수 있습니다. 그러나 일부 AI는 대화형 기능을 위해 일부 JavaScript를 포함하는 것을 좋아합니다. GitHub Copilot에는 JavaScript를 사용하기 위한 코드가 포함되어 있지만 사용하려는 JavaScript를 실제로 생성하지는 않았습니다.

더 나쁜 것은 JavaScript 파일을 만들고 JavaScript 파일 내에서 GitHub Copilot이 프롬프트를 실행하도록 시도했을 때 JavaScript 파일을 참조하는 다른 PHP 스크립트가 제공된다는 것입니다.

아래에서 볼 수 있듯이 randomizer.js 파일 내에서 randomizer.js 파일을 대기열에 넣으려고 시도했으며(기본적으로 실행하기 위해 가져오기 위해) 작성한 코드는 JavaScript가 아닌 PHP였습니다.

테스트 2 : 문자열 함수 다시 작성

이 테스트는 매우 간단합니다. 나는 달러와 센트를 테스트하기로되어있는 함수를 작성했지만 정수 (달러)에 대해서만 테스트했다. 테스트는 AI에게 코드를 수정하도록 요청합니다.

GitHub Copilot은 코드를 재작업했지만 생성한 코드에는 많은 문제가 있었습니다.

문자열 값이 항상 문자열 값이라고 가정했습니다. 비어 있으면 코드가 깨집니다.
수정된 정규식 코드는 소수점(예: "3.")을 입력하거나, 선행 소수점(예: ".3")을 입력하거나, 선행 0(예: "00.30")을 포함하는 경우 중단됩니다.

통화가 올바르게 입력되었는지 테스트해야 하는 것의 경우 엣지 케이스에서 충돌하는 코드로 실패하는 것은 허용되지 않습니다.

그래서 우리는 또 다른 실패를 겪었습니다.

테스트 3 : 성가신 버그 찾기

GitHub Copilot이 이 문제를 해결했습니다. 이것은 내 실제 코딩 탈선에서 가져온 또 다른 테스트입니다. 이 버그를 너무 짜증나게 만든 (그리고 파악하기 어려운) 것은 오류 메시지가 실제 문제와 직접적인 관련이 없기 때문입니다.

버그는 트릭 질문과 동일한 코더입니다. 이 문제를 해결하려면 WordPress 프레임워크의 특정 API 호출이 작동하는 방식을 이해한 다음 해당 지식을 해당 버그에 적용해야 합니다.

Microsoft Copilot, Gemini 및 Meta Code Llama 모두 이 테스트에 실패했습니다. 그러나 GitHub Copilot은 올바르게 해결했습니다.

테스트 4: 스크립트 작성하기

여기에서도 Microsoft Copilot이 실패한 곳에서 GitHub Copilot이 성공했습니다. 여기서 문제는 AppleScript, Chrome 개체 모델 및 Keyboard Maestro라는 Mac 전용 타사 코딩 유틸리티 에 대해 알고 있는 스크립트를 만드는 AI의 능력을 테스트하고 있다는 것입니다.

이 테스트를 통과하려면 AI가 세 가지 코딩 환경 모두에 주의가 필요하다는 것을 인식한 다음 각 환경에 맞게 개별 코드 줄을 조정할 수 있어야 합니다.

마무리

GitHub Copilot이 GPT-4를 사용한다는 점을 감안할 때 테스트의 절반을 통과하지 못했다는 사실이 실망스럽습니다. GitHub은 지구상에서 가장 인기 있는 소스 관리 환경이며, AI 코딩 지원이 상당히 신뢰할 수 있기를 바랄 것입니다.

AI의 모든 것이 그렇듯이 성능도 더 좋아질 것이라고 확신합니다. 계속 지켜봐 주시고 몇 달 후에 다시 확인하여 그 당시 AI가 더 효과적인지 확인합시다.

코딩을 돕기 위해 AI를 사용합니까? 어떤 AI를 선호하십니까? 당신은 GitHub Copilot를 시도? 아래 의견에 알려주십시오.