ChatGPT는 코드를 작성할 수 있습니다. 이제 연구자들은 버그를 수정하는 데도 좋다고 말합니다
개발자의 새로운 절친? ChatGPT는 코드를 자동으로 디버깅하는 데 있어 최고입니다. 그러나 개발자의 시간을 절약할지 더 많은 작업을 생성할지는 두고 봐야 합니다.
OpenAI의 ChatGPT 챗봇은 소프트웨어 버그를 매우 잘 수정할 수 있지만 다른 방법 및 AI 모델에 비해 주요 장점은 답변의 정확성을 향상시킬 수 있는 인간과의 고유한 대화 능력입니다.
요하네스 구텐베르크 대학교 마인츠(Johannes Gutenberg University Mainz)와 유니버시티 칼리지 런던(University College London)의 연구원들은 OpenAI의 ChatGPT를 "표준 자동화 프로그램 복구 기술"과 프로그램 복구에 대한 두 가지 딥 러닝 접근 방식에 대해 비교했습니다. GitHub의 Copilot 페어링 프로그래밍 자동 코드 완성 서비스를 뒷받침하는 OpenAI의 GPT-3 기반 모델인 Codex.
연구진은 New Scientist가 처음 발견한 새로운 arXiv 논문에서 "우리는 ChatGPT의 버그 수정 성능이 일반적인 딥 러닝 접근 방식인 CoCoNut 및 Codex와 경쟁력이 있으며 표준 프로그램 수정 접근 방식에 대해 보고된 결과보다 훨씬 우수하다는 것을 발견했습니다.
ChatGPT가 코딩 문제를 해결하는 데 사용될 수 있다는 것은 새로운 것이 아니지만 연구원들은 인간과의 대화를 위한 고유한 능력이 다른 접근 방식 및 모델보다 잠재적인 우위를 제공한다고 강조합니다.
연구원들은 QuixBugs 버그 수정 벤치마크를 사용하여 ChatGPT의 성능을 테스트했습니다. APR(Automated Program Repair) 시스템은 2018년 이전에 개발되었기 때문에 불리한 것으로 보입니다.
ChatGPT는 트랜스포머 아키텍처를 기반으로 하며, 이번 주 Meta의 AI 책임자 Yann LeCunn이 강조한 것은 Google에서 개발한 것입니다. Codex, Microsoft Research의 CodeBERT 및 Google의 이전 버전인 BERT는 모두 Google의 트랜스포머 방식을 기반으로 합니다.
OpenAI 는 설명을 요청하고 더 나은 답변에 도달하기 위해 사람으로부터 힌트를 받을 수 있는 코드 디버깅 예제에서 ChatGPT의 대화 기능을 강조합니다. RLHF(Reinforcement Learning from Human Feedback)를 사용하여 ChatGPT(GPT-3 및 GPT 3.5)의 대규모 언어 모델을 훈련했습니다.
ChatGPT의 토론 능력은 보다 정확한 답변에 도달하는 데 도움이 될 수 있지만 제안의 품질은 여전히 불분명하다고 연구원들은 지적합니다. 그렇기 때문에 ChatGPT의 버그 수정 성능을 평가하고자 했습니다.
연구원들은 QuixBugs 40 Python 전용 문제에 대해 ChatGPT를 테스트한 다음 제안된 솔루션이 올바른지 여부를 수동으로 확인했습니다. 그들은 ChatGPT의 답변의 신뢰성에 약간의 무작위성이 있기 때문에 Wharton 교수가 챗봇을 MBA와 같은 시험을 거친 후 알게 되었기 때문에 쿼리를 네 번 반복했습니다.
ChatGPT는 40개의 Python 버그 중 19개를 해결하여 CoCoNut(19개) 및 Codex(21개)와 동등하게 만들었습니다. 그러나 표준 APR 방법은 문제 중 7개만 해결했습니다.
연구원들은 ChatGPT의 후속 상호 작용 성공률이 77.5%에 달한다는 것을 발견했습니다.
그러나 노력과 생산성 측면에서 개발자에게 미치는 영향은 모호합니다. Stack Overflow는 최근 ChatGPT에서 생성된 답변이 품질은 낮지만 그럴듯하게 들리기 때문에 금지했습니다. Wharton 교수는 ChatGPT가 우아하지만 종종 틀린 답을 제공하는 "스마트 컨설턴트" 역할을 하고 비판적 사고를 촉진할 수 있기 때문에 MBA 학생들에게 훌륭한 동반자가 될 수 있음을 발견했습니다.
연구원들은 "이는 인간의 입력이 자동화된 APR 시스템에 많은 도움이 될 수 있으며 ChatGPT가 그렇게 할 수 있는 수단을 제공한다는 것을 보여줍니다"라고 썼습니다.
"뛰어난 성능에도 불구하고 ChatGPT 답변을 확인하는 데 필요한 정신적 비용이 ChatGPT가 제공하는 이점보다 더 큰지 의문이 생깁니다."