2024년에 AI가 직장에서 시간을 절약해 준 15가지 방법과 2025년에 AI를 어떻게 사용할 계획인지

생성 AI가 자신의 추론을 성공적으로 설명할 수 있을까요? 두 가지 모델을 테스트해봤습니다.

시카고를 출발하여 시속 70마일로 서쪽으로 이동하는 기차와 샌프란시스코를 출발하여 시속 80마일로 동쪽으로 이동하는 또 다른 기차를 생각해 보십시오. 그들이 언제 어디서 만날지 알아낼 수 있나요?

이는 고전적인 초등학교 수학 문제이며, 현재 프리뷰 단계에 있는 OpenAI가 최근 출시한 'o1' 대형 언어 모델과 같은 인공지능(AI) 프로그램은 답을 찾을 뿐만 아니라 어떻게 그것에 도달했는지에 대해서도 조금 설명해줍니다.

설명은 사고의 사슬로 알려진 생성 AI에서 점점 인기를 얻고 있는 접근 방식의 일부입니다.

생각의 사슬은 매우 유용할 수 있지만, 약간의 실험을 통해 알게 된 것처럼 그것이 어떻게 이루어졌는지에 따라 완전히 당황스러울 수도 있습니다.

사고 사슬 처리의 이면에 있는 아이디어는 AI 모델이 최종 답을 찾기 위해 수행하는 계산 순서를 자세히 설명하여 궁극적으로 "설명 가능한" AI를 달성할 수 있다는 것입니다. 이러한 설명 가능한 AI는 대답의 근거를 공개함으로써 인간이 AI의 예측에 대해 더 큰 확신을 갖게 할 수 있습니다.

맥락상 AI 모델은 프로그램이 작동하는 방식에 대한 핵심 요소를 구성하는 수많은 신경망 매개변수와 활성화 함수를 포함하는 AI 프로그램의 일부를 의미합니다.

이 문제를 살펴보기 위해 중국에 본사를 둔 스타트업 DeepSeek의 최신 모델인 R1-Lite와 OpenAI의 o1을 비교했습니다. R1-Lite는 o1보다 더 나아가 생각의 사슬에 대한 자세한 설명을 제공하며 이는 o1의 다소 간결한 스타일과 대조됩니다.

DeepSeek은 R1-Lite가 U.C.에서 개발한 테스트인 MATH를 포함한 여러 벤치마크 테스트에서 o1을 이길 수 있다고 주장합니다. Berkeley는 12,500개의 수학 질문-답변 세트로 구성되어 있습니다.

Landing.ai의 설립자인 AI 전문가 Andrew Ng는 R1-Lite의 도입이 단순히 AI 모델을 더 크게 만드는 것 이상으로 결과를 정당화하기 위해 추가 작업을 수행하도록 만드는 '중요한 움직임의 일부'라고 설명했습니다.

그러나 내가 발견한 R1-Lite는 o1과는 달리 당혹스럽고 지루할 수도 있습니다.

저는 위의 유명한 기차 수학 문제를 R1-Lite와 o1 미리보기에 모두 제출했습니다. DeepSeek 웹사이트에서 무료 계정을 만들어 R1-Lite를 무료로 사용해 볼 수 있으며, OpenAI가 포함된 유료 ChatGPT 계정의 일부로 o1 미리보기에 액세스할 수 있습니다. (R1-Lite는 아직 오픈 소스로 출시되지 않았지만 GitHub에서 다른 DeepSeek 프로젝트를 사용할 수 있습니다.)

두 채팅 봇 모두 초등학교 수학의 유명한 기차 문제에 대한 솔루션에 대한 매우 간단한 경로로 시작됩니다.

두 모델 모두 비슷한 답변을 내놓았지만 o1 모델은 답변을 내놓는 데 5초가 걸리는 등 눈에 띄게 빨랐지만 DeepSeek의 R1-Lite는 21초가 걸렸습니다(두 모델은 각각 얼마나 오랫동안 "생각"했는지 알려줍니다). o1은 또한 계산에 시카고와 샌프란시스코 사이의 더 정확한 마일 수를 사용했습니다.

더 흥미로운 차이점은 다음 라운드에서 나타났습니다.

두 모델 모두에 두 기차가 만나는 대략적인 위치, 즉 미국의 도시나 마을을 계산해 달라고 요청했을 때 o1 모델은 신속하게 와이오밍주 샤이엔을 생산했습니다. 그 과정에서 o1은 "열차의 여정 분석", "여행 지도 작성", "만남 지점 결정"과 같은 짧은 메시지를 잠깐 깜박이면서 생각의 사슬을 전보했습니다.

이는 실제로 유익한 정보는 아니었지만 오히려 뭔가 진행되고 있음을 나타내는 지표였습니다.

이와 대조적으로 DeepSeek R1-Lite는 생각의 사슬에서 거의 1분을 소비했으며, 다른 경우와 마찬가지로 매우 장황하여 총 2,200단어에 달하는 "생각" 설명의 흔적을 남겼습니다. 모델이 체인을 통해 진행됨에 따라 이러한 문제는 점점 더 복잡해졌습니다. 모델은 충분히 간단하게 시작하여 각 열차가 12시간이 끝날 때 도착하는 곳이 대략 두 열차가 서로 가까워지는 위치, 즉 두 출발점 사이의 어딘가일 것이라고 가정했습니다.

그러나 DeepSeek의 R1-Lite는 말하자면 완전히 궤도를 벗어났습니다. 위치를 계산하기 위해 이상하고 엉뚱한 방법을 많이 시도했고 각 방법을 극도로 자세하게 설명했습니다.

OpenAI의 o1 모델은 작업을 상당히 빠르게 마무리하는 반면, DeepSeek의 R1-Lite(왼쪽)는 점점 더 복잡하고 산만해지는 길고 구불구불한 "생각" 과정을 거칩니다.

먼저, 시카고에서 샌프란시스코로 가는 길에 여러 다른 도시까지의 거리와 도시 간 거리를 계산하여 위치를 대략적으로 계산했습니다.

그런 다음 지도의 경도를 사용하고 시카고 열차가 이동한 경도를 계산했습니다. 그런 다음 뒤로 물러나서 주행 거리로 거리를 계산하려고 했습니다.

이 모든 와중에 모델은 "잠깐, 헷갈리네요"라는 말을 내뱉었습니다. 이는 아마도 이 모든 것을 지켜보는 인간에게도 해당될 것입니다.

DeepSeek의 R1-Lite는 혼란을 표현합니다. AI 모델은 말 그대로 혼란스럽지 않지만 이를 사용하는 인간은 혼란스러울 수 있습니다.

R1-Lite가 수용 가능한 근사치인 "네브래스카 서부 또는 콜로라도 동부"라는 답변을 내놓았을 때 그 추론은 너무 난해하여 더 이상 "설명할 수"가 없었고 실망스러웠습니다.

답변을 다소 간략하게 유지하는 o1 모델과 달리 가정된 추론 프로세스를 힘든 세부 사항으로 설명함으로써 DeepSeek의 R1-Lite는 실제로 복잡하고 혼란스러워집니다. 즉, o1의 답변은 실제로 프로세스를 조명하지 않고 추론의 모습으로 사용자를 달래는 것처럼 보입니다.

이상적인 것은 두 모델의 반응 사이 어딘가일 것입니다. 실제 열차 노선과 같은 세부정보를 포함하는 보다 정확한 프롬프트를 사용하면 생각의 연결이 훨씬 더 깔끔해질 수 있습니다. 지도 좌표를 위해 외부 데이터베이스에 액세스하면 R1-Lite가 생각의 사슬에서 더 적은 수의 링크를 갖게 될 수도 있습니다.

테스트는 이러한 일련의 사고 추론 초기에 챗봇으로 작업하는 인간이 궁극적으로 AI 모델로부터 수용 가능한 답변을 얻더라도 결국 혼란스러워질 가능성이 있음을 보여줍니다.