AI가 모든 비즈니스 문제를 해결할 수 있다고 생각하시나요? Apple의 새로운 연구에 따르면 그렇지 않습니다.

Apple은 방금 AI 기능에 큰 균열이 있음을 드러냈습니다. LLM이 여전히 복잡한 추론을 처리할 수 없는 이유와 이것이 의사 결정 프로세스에 어떤 의미를 갖는지 알아보세요.

공과대학 시절, 오해의 소지가 있는 과제를 자랑으로 여기던 교수가 있었습니다. 그는 그것이 우리의 초점을 떨어뜨리거나 우리를 불필요한 연구의 토끼굴로 몰아넣는 방해가 될 것이라는 희망으로 당면한 주제와 관련성이 모호한 요소가 포함된 질문을 하곤 했습니다.

그가 묻는 질문 유형의 예는 다음과 같습니다. 그의 질문은 훨씬 더 어렵고 엔지니어링에 중점을 두었지만 우리가 논의할 연구와 직접적으로 관련이 있기 때문에 이 질문을 사용했습니다.

올리버는 금요일에 키위 44개를 따요. 그런 다음 그는 토요일에 키위 58개를 선택합니다. 일요일에는 금요일보다 두 배 많은 키위를 수확하는데 그 중 5개는 평균보다 조금 적었습니다. 올리버는 키위를 몇 개나 갖고 있나요?

교수님의 목표는 우리가 진행 중인 프로젝트와 관련된 것이 무엇인지 식별하고 연구를 수행할 때 발생하는 모든 자연적인 방해 요소를 무시하거나 제쳐두는 방법을 배우도록 돕는 것이었습니다.

처음에는 매우 고통스러웠지만 궁극적으로는 매우 유용한 1학년 엔지니어를 위한 수업이었습니다.

저는 이 도전을 새미 벤지오(Samy Bengio) 선임 이사와 저명한 과학자 원셀 투젤(Oncel Tuzel)이 이끄는 Apple AI 및 머신러닝 연구진이 이번 달에 발표한 연구 논문 때문에 생각나게 되었습니다.

그들의 논문 "GSM-Symbolic: 대규모 언어 모델에서 수학적 추론의 한계 이해"에는 위에 표시된 수학 문제가 포함되어 있습니다. 질문을 보면 "그러나 그 중 5개는 평균보다 약간 작았습니다"라는 문구는 전체 키위 수에 영향을 미치지 않아야 합니다.

연구원들은 OpenAI의 GPT-40-mini, GPT-40, o1-mini 및 o1-preview와 같은 대규모 언어 모델(LLM)이 매우 높은 수준의 텍스트 처리와 구별되는 추론과 관련된 일종의 질문에 취약하다는 사실을 발견했습니다.

이제 공정하게 말하면 ChatGPT GPT-4o에 대해 해당 쿼리를 실행했는데 올바르게 대답했습니다. 나는 이것이 Apple의 결론이 틀렸다는 것을 의미하는 것이 아니라 ChatGPT가 이 결론을 올바르게 처리했다는 것을 의미한다고 생각합니다.

반면에, 뉴질랜드 오토로항가의 밤 숲을 뒤뚱거리며 돌아다니는 실제 키위새의 수에 대한 논의를 통해 AI가 쉽게 대답할 수 있었다는 것을 우리 모두는 알고 있습니다.

그렇다면 Apple 연구의 궁극적인 결론은 LLM이 진정한 추론이 불가능하고 대신 패턴 일치에 의존한다는 것입니다.

어느 정도 이것은 우리가 모르는 것을 알려주는 일종의 결론입니다. 그럼에도 불구하고 Apple이 이 문제에 적용한 역량을 갖춘 연구자들이 이를 과학적으로 확인하게 된 것은 좋은 일입니다. 이제 과학 속으로 들어가 보겠습니다.

벤치마크 데이터 세트

결과적으로 ChatGPT에 헌법을 해적어로 번역하도록 요청하는 것은 비록 그것이 즐거운 시간을 보내더라도 LLM을 테스트하는 포괄적인 방법은 아닙니다.

대신, 연구자들은 언어 모델이 수학 문제를 얼마나 잘 평가하는지 측정하기 위해 설계된 훨씬 덜 흥미롭지만 더 효과적인 AI 테스트 프레임워크를 개발했습니다.

2021년 OpenAI는 LLM의 추론을 평가하는 데 사용되는 벤치마크 데이터세트인 GSM8K를 출시했습니다. 약어는 데이터 세트에 포함된 내용을 알려줍니다: 8,000개의 초등학교 수학 문제.

이 데이터 세트를 AI에 적용하면 연구원은 AI가 얼마나 정확한지, 추론 문제와 기본 수학을 해결할 수 있는지 여부를 판단하는 데 도움이 됩니다. GSM8K는 특히 산술 및 단어 문제와 관련하여 LLM의 수학적 추론 기능을 평가하기 위한 최고의 표준으로 간주됩니다.

오픈 소스이기 때문에 GSM8K는 단계별 추론이 필요한 작업을 테스트하기 위해 AI 분야(OpenAI 내부 및 외부 모두)에서 널리 사용되었습니다. 이는 명확한 문제 구조를 가지고 있어 LLM에 대한 초기 단계 테스트를 수행하는 AI 연구자에게 신뢰할 수 있는 도구가 되었습니다.

반면에 Apple 연구원들은 이 데이터 세트에 근본적으로 결함이 있다고 생각합니다. 그들은 GSM8K의 테스트 결과가 특정 LLM의 기능에 대해 지나치게 긍정적인 견해를 제시할 수 있다고 주장합니다. 이는 테스트 세트가 LLM의 교육 세트에서 사용되었을 수 있는 고정되고 친숙한 질문을 기반으로 하기 때문입니다.

위에 인용된 논문에서는 연구원들이 GSM8K의 한계를 극복한 새로운 데이터 세트인 GSM-Symbolic을 소개합니다. GSM-Symbolic은 LLM이 저장된 훈련 데이터에서 작동하는 것을 방지하는 더욱 다양하고 복잡한 문제를 제공합니다.

이 논문에서는 Google의 Gemma2-9B와 같은 일부 모델이 두 가지 벤치마크 데이터 세트를 사용하여 현저히 다른 결과를 보여주었다고 언급합니다. Gemma2-9B는 OpenAI의 GSM8K 데이터 세트의 문제를 올바르게 해결할 수 있었지만 Apple의 GSM-Symbolic 테스트를 거치면서 정확도가 15% 떨어졌습니다.

Apple 연구원들은 질문이 복잡해질수록(“절 추가”라고 함) 정확성이 떨어진다는 사실을 발견했습니다. 데이터가 고정되었기 때문에 이 측정항목은 GSM8K에 표시되지 않았습니다. 애플에 따르면 정확도가 80~90%대 초반이었던 모델은 조항 수가 늘어날수록 정확도가 40%대로 떨어질 수 있다고 한다.

Apple은 GSM8K에 데이터 오염의 위험이 있다고 주장합니다. 이는 모델이 데이터 세트의 일부에 대해 훈련되었을 수 있음을 의미합니다. GSM8K 데이터 세트를 호스팅하는 GitHub는 LLM 교육을 돕는 데 사용되었습니다.

교육 데이터에 GitHub를 사용하는 것은 나에게 결코 좋은 생각이 아닌 것 같습니다. 내 GitHub 저장소에 오래된 코드가 있고 그것이 얼마나 버그가 있는지 잘 알고 있습니다. 나는 그것을 학생들을 교육하기 위한 예제 코드로 사용하고 싶지 않으며, 우리가 좋은 답변을 위해 의존하는 AI를 가르치는 데 사용하고 싶지 않습니다.

어쨌든 Apple의 GSM-Symbolic은 오픈 소스로 보이지 않습니다. 따라서 Apple 연구원들은 이것이 LLM 테스트를 위한 더 나은 솔루션이라고 주장하지만 Apple에서 적절한 그룹으로 일하고 6가지 색상을 사용하지 않는 한 액세스할 수 없습니다.

그것은 모두 무엇을 의미합니까?

내 일부는 이 문서에 대한 Apple의 동기에 대해 의심스럽습니다. 특히 Apple이 자체 Al 제품을 출시하고 있기 때문에 Open Al에 대한 일종의 초능력자 경쟁 비교 패배처럼 보입니다.

반면에, Apple은 Apple Intelligence 제품에 ChatGPT를 포함할 계획이므로, 이러한 논문을 생산하는 것을 정당화하기 위해 순수한 경쟁적 고상함을 돌리는 것은 적절하지 않은 것 같습니다. 따라서 나는 그 동기가 아마도 보이는 그대로일 것이라고 믿습니다. 즉, 학습 모델 성능 및 정확성에 대한 이해를 향상시키는 데 대한 진정한 학문적 관심이었습니다.

이 연구는 우리가 거의 알고 있던 사실을 입증합니다. LLM은 논리적 추론보다 패턴 일치에서 더 나은 성능을 발휘합니다. 그들은 실제 추론보다는 훈련과 처리에 패턴 인식을 사용합니다. 세상의 많은 정보가 단순히 패턴 인식을 통해 설득력 있게 표현될 수 있다는 사실은 놀랍습니다. 하지만 여전히 실제로 추론할 수 있는 컴퓨터를 얻을 수는 없습니다.

수학적 추론이 불규칙합니다. Apple의 연구원들이 실패한 테스트로 사용한 예는 내 테스트 중에 통과되었습니다. 그렇다고 애플 팀이 틀렸다는 것은 아니지만, AI가 일관성이 없고 끊임없이 진화한다는 전제를 깔고 있는 것입니다. 따라서 수학적 결과를 위해 LLM에 의존하는 것이 반드시 실용적인 접근 방식은 아닙니다. 좋은 수학을 원한다면 구식 알고리즘과 전통적인 소프트웨어 엔지니어링 테스트 및 검증 방법을 사용하거나 최소한 AI가 제공하는 결과를 다시 확인하십시오.

프로덕션 시나리오에서 LLM 데이터 의존을 고려하는 사람들의 또 다른 우려 사항은 복잡성이 증가함에 따라 정확도가 떨어지는 것입니다. 이 패턴은 인간이 데이터를 처리하는 방식을 정확하게 반영하지만(데이터가 복잡해질수록 더 많은 골칫거리가 발생함) LLM과 우리의 차이점은 실제 추론을 연습한다는 것입니다.

그렇다면 Apple의 논문 연구 결과가 비즈니스에 미치는 영향은 무엇입니까? 그 다음입니다.

비즈니스 영향 및 위험 완화

장밋빛 안경을 통해 AI를 바라보지 않았다면 그 의미는 분명합니다. AI는 유용한 도구이지만 복잡한 결정을 처리하기 위해 AI에 의존하지 마십시오. AI나 LLM은 유망한 신기술이기 때문에 모든 책임을 AI나 LLM에 전가하는 것은 현명하지 않습니다.

저는 AI를 사용하여 기업 데이터를 기반으로 한 통찰력을 얻는 방법을 몇 번 보여줬지만 항상 분석을 통해 생각하고 그것이 내 내면의 지식과 일치하는지 확인하여 결과를 칠면조 테스트했으며 궁극적으로 - - 내 스스로 결정하고 결정합니다. AI는 흥미로운 지원 도구였지만 내 비즈니스에 대한 결정을 내리는 데에는 내 경영 배경이 핵심이었습니다.

AI는 잠재력이 가득합니다. 예를 들어 나는 프로그래밍을 돕기 위해 그것들을 사용했습니다. ChatGPT 덕분에 작년에 프로그래밍 시간을 한 달이나 절약할 수 있었을 거라 확신합니다. 하지만 저는 코드를 디자인하거나 비즈니스 로직 섹션을 작성하기 위해 AI에 의존하지 않았습니다. 나는 단순히 검색하는 데 시간을 소비해야 하고 테스트하기 쉬운 매우 일반적인 API에 대한 인터페이스를 제공하기 위해 이를 사용했습니다.

AI가 해당 분야 전문가를 대체할 것이라고 기대하지 마십시오. AI는 인간 전문가의 노력을 지원할 수 있지만, 깊은 추론이나 비판적 사고에 있어서는 오류가 있습니다. 이렇게 보십시오. 귀하의 비즈니스에 대한 결정을 내릴 때 대학 신입생이나 이웃의 자녀를 신뢰하지 않는다면 AI도 신뢰하지 마십시오.

우리는 AI가 환각을 느낀다는 것을 알고 있습니다. 우리는 그들이 때때로 제공된 데이터를 바탕으로 완전히 말도 안되는 결론을 내린다는 것을 알고 있습니다. 귀하의 비즈니스가 데이터에 의존하여 의사 결정을 내리는 경우 AI가 올바른 데이터를 제공할 것이라고 가정하지 마십시오.

이는 위험 완화로 이어집니다. AI에 신중하게 투자하십시오. 탁월한 전략적 영역을 찾으십시오.

예를 들어 일상 업무에서 배경을 제거하는 Photoshop의 사진 편집 기능이나 YouTube 녹화 시 방 안 어디에 있든 카메라를 가리키는 짐벌에서 AI가 높은 성과를 거두는 것을 발견했습니다. 동영상. 또한 생성적인 텍스트와 생성적인 이미지에도 사용하지만 중요한 프로젝트에는 사용하지 않습니다.

사람의 감독이 실제로 이루어지고 실수가 발생하지 않도록 시스템을 갖추고 있는지 반드시 확인하십시오. 특히 중요한 작업의 경우 루프에 인간 지능을 지속적으로 포함시켜야 합니다.

그 주의를 팀에까지 확대하십시오. 모두가 생성 AI의 경이로움에 대해 읽고 듣고 있지만 그 한계를 인식하지 못할 수도 있습니다. 모든 팀원이 LLM과 같은 도구가 바로 도구라는 것을 알고 있는지 확인하십시오. 안일함의 유혹에 저항하십시오.

Apple의 연구 결론

애플 인텔리전스(Apple Intelligence)에 그토록 많은 마케팅 과대 광고를 펼쳤던 애플이 역시 기술의 한계를 드러내고 있다는 점이 흥미롭다. 어떤 면에서는 그러한 투명성이 고무적입니다.

Apple은 사진 처리 기능을 정기적으로 개선하기 위한 도구로 기계 학습을 사용해 왔습니다. 그러나 이러한 기술은 많은 양의 수학을 사용하지만 독립적인 인간 추론을 필요로 하지 않습니다.

Apple은 회사의 공급망을 통해서도 AI가 강력한 AI 기술에 계속해서 막대한 투자를 할 것으로 예상됩니다. 그러나 나는 Apple의 경영진이 LLM에게 의사 결정을 맡길 것이라고 기대하지 않습니다.

이 연구는 프로젝트 복잡성이 증가함에 따라 LLM에 상당한 제한이 있다는 것과 Apple이 LLM의 한계를 테스트하고 이러한 결과를 이러한 새로운 기술에 얼마나 의존하는지 고려하는 데 투자하고 있음을 보여줍니다.

기본 의사 결정을 거의 투명하게 공개하지 않는 기업에게 이 백서는 지난 10년 동안 가장 인기 있었던 신기술의 강점과 한계를 이해하는 데 도움이 되도록 Apple이 수행하고 있는 상세한 연구에 대한 강력한 통찰력을 제공합니다.

어떻게 생각하나요? 애플은 올바른 결론을 내렸는가? 의사결정에 AI를 활용해 보셨나요? 현재 LLM을 무엇에 사용하고 있으며 앞으로 어떤 용도로 사용하고 싶나요? 아래 댓글을 통해 알려주세요.