ChatGPT는 MBA 시험을 치렀습니다. 방법은 다음과 같습니다

OpenAI의 챗봇은 Wharton 교수가 시험을 치르게 되었는데, 그 결과는 교육의 미래에 어떤 의미가 있을까요?

펜실베이니아 대학교 와튼(University of Pennsylvania)의 한 교수는 일반적인 MBA 과정의 기말고사를 위해 생성된 답을 채점한 후 ChatGPT에 이론적인 B급 패스를 부여했습니다. 

Wharton의 운영 관리 교수인 Christian Terwiesch는 ChatGPT가 "기본적인 운영 관리 및 프로세스 분석 질문에서 놀라운 일을 한다"고 말했습니다. 

"답이 정확할 뿐만 아니라 설명도 훌륭하다"고 그는 새로운 백서에 썼다. 

그러나 그는 챗봇이 "6학년 수학 수준의 비교적 간단한 계산에서 놀라운 실수를 저지르고 있다"며 현재 고급 프로세스 분석 질문을 처리할 수 없다고 덧붙였습니다. 반면에 현재 버전의 ChatGPT는 올바른 솔루션에 도달하기 위해 인간의 힌트에 대한 응답으로 답변을 수정할 수 있습니다.

"이 성능을 고려할 때 Chat GPT3는 시험에서 B에서 B- 등급을 받았을 것입니다"라고 Terwiesch는 씁니다. 

Terwiesch의 질문 중 일부는 ChatGPT가 처리 용량이 다른 여러 시스템의 처리 작업에서 병목 현상을 식별할 수 있는지 여부를 테스트하는 것을 목표로 했습니다.  

그러나 ChatGPT는 중간 수준의 산술로 계산할 때 "엄청난 규모의 중대한 실수를 저질렀습니다". 

흥미롭게도 ChatGPT는 처음에 대기열 분석에 관한 Terwiesch의 질문 중 하나에 잘못 답변했습니다. 그는 더 나은 답변에 대한 힌트를 제공했고 ChatGPT는 답변을 개선했습니다. 다음 날, 교수는 힌트 없이 동일한 초기 대기열 질문을 했고 ChatGPT는 첫 번째 시도에서 올바르게 답변했습니다.    

그는 "과거의 피드백에서 배울 수 있는 능력이거나 운이 좋았을 뿐"이라고 말하며 답변의 질에 약간의 무작위성이 있는 것 같다고 덧붙였습니다. 

Terwiesch는 또한 ChatGPT가 향후 시험에서 사용할 수 있는 영리하고 유머러스한 질문을 공식화할 수 있다는 것을 발견했습니다. 그러나 챗봇은 또한 대답을 불가능하게 만드는 일부 질문에 미묘한 결함을 도입했습니다. 

Terwiesch는 다른 사람들에게 ChatGPT의 기능과 한계에 유의하라고 경고합니다. 그는 첫 번째 질문에 대한 답변을 읽은 후 ChatGPT와 "사랑에 빠졌다"고 말하지만 "상당히 간단한 상황에서 큰 실수를 저질렀다"고 경고합니다.  

"우리는 여전히 복잡한 문제에 대해 A+와는 거리가 멀고 여전히 루프에 있는 사람이 필요합니다"라고 그는 썼습니다. 

"교육에 대한 제 견해로는, 계산기가 50년 넘게 널리 사용되어 왔고 학생들이 Google 위키피디아를 사용하여 대부분의 사실에 입각한 질문에 대한 답을 찾을 수 있음에도 불구하고 초등학생은 여전히 7 x 7=49와 펜실베이니아의 주도가 해리스버그라는 것을 배워야 합니다. 더 높은 수준의 주제를 이해하는 데 필요한 것이 기초 기술의 특성입니다."

Terwiesch는 교육자들이 K-12 학생들이 ChatGPT를 사용하여 과제와 시험에서 부정 행위를 할 수 있다는 점을 우려해야 한다는 데 동의합니다. 예를 들어, 뉴욕시 교육부는 신뢰할 수 있는 테스트가 교육에 중요하고 기술 인증이 새로운 기술로 인해 손상되어서는 안 된다는 이유로 최근 챗봇을 금지했습니다. ChatGPT를 사용하는 학생은 "평균적인 학업 능력"을 가진 친구에게 전화를 걸어 시험을 완료할 수 있는 것과 같다고 그는 말합니다.   

그러나 그는 또한 ChatGPT 및 이와 유사한 기술이 우아하지만 종종 틀린 답변을 제공하는 "스마트 컨설턴트"의 역할을 할 수 있는 능력이 있다고 주장하며, 이는 제안된 대안을 비판적으로 평가해야 하는 MBA 학생들의 기술을 개발하기 위한 "완벽한 훈련장"이라고 믿습니다.