웹사이트 검색

메타AI 코딩이 가능한가요? Llama, Gemini 및 ChatGPT에 대해 테스트했는데 근접하지도 않았습니다.

저는 Meta AI에 대해 간단한 코딩 테스트를 진행했습니다. 그 결과 프로그래밍에 시간을 투자할 가치가 있는 AI 챗봇은 단 하나뿐이라는 것이 입증되었습니다.

AI 도구는 코드를 얼마나 잘 작성합니까? 지난 1년여 동안 저는 대규모 언어 모델이 상당히 기본적인 프로그래밍 문제를 얼마나 잘 처리하는지 알아보기 위해 일련의 테스트를 진행해 왔습니다.

아이디어는 간단합니다. 이러한 기본적인 문제를 처리할 수 없다면 더 복잡한 작업을 수행하도록 요청할 가치가 없을 것입니다. 반면에 이러한 기본적인 문제를 처리할 수 있다면 시간을 절약하려는 프로그래머에게 도움이 되는 조력자가 될 수 있습니다.

이 벤치마크를 설정하기 위해 세 가지 테스트를 사용했습니다(그리고 방금 네 번째 테스트를 추가했습니다). 그들은:

  1. WordPress 플러그인 작성:WordPress 내부에서 PHP 프로그래밍 언어를 사용하여 기본 웹 개발을 테스트합니다. 또한 약간의 사용자 인터페이스 구축이 필요합니다. AI 챗봇이 이 테스트를 통과하면 웹 개발자의 보조자로서 기본적인 코드를 작성하는 데 도움이 될 수 있습니다. 저는 원래 이 테스트를 "ChatGPT에 필요한 WordPress 플러그인 작성을 요청했습니다. 5분도 안 되어 완료했습니다."에 문서화했습니다.
  2. 문자열 함수 다시 작성: 이 테스트는 AI 챗봇이 더 나은 기능을 위해 유틸리티 기능을 업데이트하는 방법을 평가합니다. AI 챗봇이 이 테스트를 통과하면 프로그래머를 위한 도구를 만드는 데 도움이 될 수 있습니다. 실패하면 1학년 프로그래밍 학생들이 아마도 더 나은 일을 할 수 있을 것입니다. 나는 원래 이 테스트를 "좋아, 그래서 ChatGPT가 내 코드를 디버깅했습니다. 실제로"로 문서화했습니다.
  3. 귀찮은 버그 찾기: 이 테스트에는 분명한 대답이 틀렸기 때문에 WordPress의 작동 방식에 대한 깊은 지식이 필요합니다. AI 챗봇이 이에 올바르게 답할 수 있다면 WordPress와 같은 프레임워크를 사용해도 지식 기반이 꽤 완성된 것입니다. 나는 원래 이 테스트를 "좋아, 그래서 ChatGPT가 내 코드를 디버깅했습니다. 실제로"로 문서화했습니다.
  4. 스크립트 작성: 이 테스트에서는 AI 챗봇에게 많은 사용자에게 알려지지 않은 상당히 전문화된 두 가지 프로그래밍 도구를 사용하여 프로그래밍하도록 요청합니다. 본질적으로 큰 언어를 넘어서 AI 챗봇의 지식을 테스트합니다. 나는 원래 이 테스트를 "Google이 Gemini Code Assist를 공개했으며 이것이 프로그래머에게 도움이 될 것이라고 조심스럽게 낙관하고 있습니다."에 문서화했습니다.

각 테스트를 안내하고 그 결과를 제가 테스트한 다른 AI 챗봇의 결과와 비교해 보겠습니다. 이렇게 하면 코딩 성능과 관련하여 AI 챗봇이 어떻게 다른지 더 잘 측정할 수 있습니다.

이번에는 Meta의 새로운 Meta AI를 테스트해보겠습니다. 시작해 봅시다.

1. WordPress 플러그인 작성

다음은 왼쪽의 Meta AI 생성 인터페이스와 오른쪽의 ChatGPT 생성 인터페이스를 비교한 것입니다.

두 AI 챗봇 모두 필요한 필드를 생성했지만 ChatGPT의 프레젠테이션은 더 깔끔했고 각 필드에 대한 제목이 포함되어 있었습니다. ChatGPT는 또한 기능을 고려하여 Randomize 버튼을 보다 적절한 위치에 배치했습니다.

작업 측면에서 ChatGPT는 예상대로 이름 집합을 가져와 무작위 결과를 생성했습니다. 불행하게도 Meta AI는 일련의 이름을 가져와 무언가를 깜박인 다음 흰색 화면을 표시했습니다. 이것은 일반적으로 WordPress 세계에서 "죽음의 하얀 화면"으로 설명됩니다.

이번 테스트와 이전 테스트의 종합 결과는 다음과 같습니다.

  • Meta AI: 인터페이스: 적합, 기능성: 실패
  • 메타 코드 라마: 전체 실패
  • Google Gemini Advanced: 인터페이스: 좋음, 기능: 실패
  • ChatGPT: 인터페이스: 좋음, 기능: 좋음

2. 문자열 함수 다시 작성

이 테스트는 달러와 센트 변환을 테스트하도록 설계되었습니다. Meta AI에는 네 가지 주요 문제가 있었습니다. 수정하지 말아야 할 값을 수정했고, 여러 소수점이 있는 숫자를 제대로 테스트하지 않았으며, 달러 금액이 소수점 이하 두 자리 미만인 경우 완전히 실패했습니다. $5 또는 $5.2를 입력으로 사용하여 실패) 처리가 완료되면 해당 숫자의 형식이 잘못되었기 때문에 올바른 숫자가 거부되었습니다.

이것은 매우 간단한 과제이며 대부분의 컴퓨터 과학 1학년 학생들이 완료할 수 있어야 하는 과제입니다. Meta AI가 실패한 것은 실망스럽습니다. 특히 Meta의 Code Llama가 동일한 테스트로 성공했기 때문에 더욱 그렇습니다.

이번 테스트와 이전 테스트의 종합 결과는 다음과 같습니다.

  • 메타 AI: 실패
  • 메타 코드 라마: 성공
  • Google Gemini 고급: 실패
  • ChatGPT: 성공

3. 짜증나는 버그 찾기

이것은 프로그래밍 과제가 아닙니다. 이 테스트에서는 오류 데이터 및 문제 설명과 함께 기존 코드 덩어리를 사용합니다. 그런 다음 AI 챗봇에게 코드의 문제점을 파악하고 수정 사항을 권장하도록 요청합니다.

여기서 문제는 분명한 답이 있지만 이는 틀렸다는 것입니다. 문제를 해결하려면 WordPress API의 작동 방식에 대한 깊은 지식과 작성 중인 프로그램의 다양한 구성 요소 간의 상호 작용을 이해해야 합니다.

Meta AI는 이를 성공적으로 통과했습니다. 오류를 정확하게 식별했을 뿐만 아니라, 꼭 필요한 것은 아니지만 코드 효율성을 향상시키는 제안까지 했습니다.

간단한 문자열 함수를 다시 작성하는 데 그토록 비참하게 실패한 이후, 나는 Meta AI가 훨씬 더 어려운 문제에서 성공할 것이라고는 기대하지 않았습니다. 이는 AI 챗봇의 응답이 반드시 일관되지는 않음을 보여줍니다.

이번 테스트와 이전 테스트의 종합 결과는 다음과 같습니다.

  • 메타 AI: 성공
  • 메타 코드 라마: 실패
  • Google Gemini 고급: 실패
  • ChatGPT: 성공

4. 스크립트 작성

이 테스트에는 MacOS 스크립팅 도구 Keyboard Maestro, Apple의 스크립팅 언어 AppleScript 및 Chrome 스크립팅 동작에 대한 코딩 지식이 필요합니다.

Keyboard Maestro는 놀라울 정도로 강력한 도구이지만(내가 Mac을 기본 작업 기계로 사용하는 이유 중 하나입니다), 호주의 한 프로그래머가 작성한 상당히 모호한 제품이기도 합니다. AI 챗봇이 이 도구를 사용하여 코딩할 수 있다면 언어 전반에 걸쳐 적절한 코딩 지식을 갖추고 있을 가능성이 있습니다. AppleScript는 Apple의 MacOS 스크립팅 언어이지만 상당히 모호합니다.

Meta AI와 Meta의 Code Llama는 모두 똑같은 방식으로 실패했습니다. 즉, 지시대로 Keyboard Maestro에서 데이터를 검색하지 않았습니다. 둘 다 도구에 대해 전혀 모르는 것 같았습니다. 대조적으로 Gemini와 ChatGPT는 그것이 별도의 도구라는 것을 알고 데이터를 올바르게 검색했습니다.

이번 테스트와 이전 테스트의 종합 결과는 다음과 같습니다.

  • 메타 AI: 실패
  • 메타 코드 라마: 실패
  • Google Gemini 고급: 성공
  • ChatGPT: 성공

전체 결과

네 가지 테스트의 전체 결과는 다음과 같습니다.

  • 메타 AI: 4개 중 1개 성공
  • 메타 코드 라마: 4개 중 1개 성공
  • Google Gemini Advanced: 4개 중 1개 성공
  • ChatGPT: 4개 중 4개 성공

저는 약 6개월 동안 코딩 프로젝트를 돕기 위해 ChatGPT를 사용해 왔습니다. 여기 결과 중 어떤 것도 제가 다른 AI 챗봇으로 전환하도록 설득하지 못했습니다. 사실, 이런 AI 챗봇을 사용한다면 작업을 완료하는 것보다 오류를 확인하고 찾는 데 더 많은 시간을 소비하지 않을까 걱정될 것입니다.

다른 대형 언어 모델에 실망했습니다. 내 테스트에 따르면 ChatGPT는 적어도 현재로서는 여전히 확실한 코딩 챔피언입니다.

Meta AI, Gemini 또는 ChatGPT로 코딩을 시도해 보셨나요? 당신의 경험은 어땠나요? 아래 댓글을 통해 알려주세요.

소셜 미디어에서 저의 일상적인 프로젝트 업데이트를 팔로우하실 수 있습니다. 주간 업데이트 뉴스레터를 구독하고 Twitter/X(@DavidGewirtz), Facebook(Facebook.com/DavidGewirtz), Instagram(Instagram.com/DavidGewirtz), YouTube(YouTube.com/DavidGewirtzTV)에서 저를 팔로우하세요.

관련기사