Generative AI의 가장 큰 과제는 ROI를 보여주는 것입니다. 그 이유는 다음과 같습니다.

올바른 일을 하고 있는 척하면서 기술을 그렇게 형편없게 구현하는 것은 결코 쉬운 일이 아닙니다.

경영진과 관리자는 생성 인공 지능(AI)과 대규모 언어 모델(LLM)을 당면 작업에 적용할 수 있는 방법에 대해 흥미를 느낄 수 있지만, 이제는 한 걸음 물러나 비즈니스 수익이 어디서 어떻게 실현될 수 있는지 고려해야 할 때입니다. 이는 여전히 혼란스럽고 오해가 있는 영역으로 남아 있으며, 과거 기술 물결과 거의 유사하지 않은 접근 방식과 기술이 필요합니다.

문제는 다음과 같습니다. AI는 종종 매우 놀라운 개념 증명을 제공하지만 이를 통해 수익을 창출하는 것은 어렵다고 Capgemini의 부사장인 Steve Jones는 최근 샌프란시스코에서 열린 Databricks 컨퍼런스의 프레젠테이션에서 말했습니다. "ROI를 입증하는 것은 20, 30, 40개의 GenAI 솔루션을 생산에 투입하는 데 있어 가장 큰 과제입니다."

이루어져야 할 투자에는 생산에 투입된 LLM 테스트 및 모니터링이 포함됩니다. 특히 LLM을 정확하고 순조롭게 유지하려면 테스트가 필수적입니다. Jones는 "이 모델을 테스트하려면 약간 사악해져야 합니다"라고 조언했습니다. 예를 들어 테스트 단계에서 개발자, 설계자 또는 QA 전문가는 LLM을 의도적으로 "중독"하여 잘못된 정보를 얼마나 잘 처리하는지 확인해야 합니다.

부정적인 결과를 테스트하기 위해 Jones는 회사가 "장거리 운송을 위해 용을 사용"한다는 비즈니스 모델을 어떻게 촉발했는지에 대한 예를 인용했습니다. 모델은 긍정적으로 대답했습니다. 그런 다음 그는 모델에게 장거리 운송에 대한 정보를 요청했습니다.

"그것이 제공한 대답은 다음과 같습니다. '장거리 운반 작업을 위해 해야 할 일은 다음과 같습니다. 이미 말씀하신 것처럼 용과 함께 광범위하게 작업하게 될 것이기 때문에 광범위한 화재 및 안전 훈련을 받아야 합니다.'" 존스 관련된. "용 작업에는 공주와 함께 일하는 것이 포함되기 때문에 공주에 대한 에티켓 교육도 필요합니다. 그리고 나머지 솔루션에서 제외된 운송 및 창고 보관과 관련된 표준적인 작업도 많이 있습니다."

Jones는 계속해서 요점은 생성 AI가 "기존 애플리케이션에 기술을 잘못 추가하고 제대로 수행하는 척하는 것이 그 어느 때보다 쉬운 기술이라는 것입니다. Gen AI는 단지 몇 가지 종을 추가하고 애플리케이션에는 문제가 있지만 생산의 보안 및 위험 관점에서는 정말 끔찍합니다."
제너레이티브 AI가 주류 채택의 일부가 되기까지는 2~5년이 더 걸릴 것이며 이는 다른 기술에 비해 빠릅니다. 존스는 “어떻게 따라잡느냐가 당신의 과제가 될 것”이라고 말했다. 현재 제기되고 있는 두 가지 시나리오가 있습니다. "첫 번째는 하나의 훌륭한 대형 모델이 될 것이고, 모든 것을 알고 문제가 없을 것이라는 것입니다. 이것은 극단적인 낙관주의로 알려져 있습니다. 일어날 일이 일어날 것이라는 이론이다."

존스는 "모든 단일 공급업체, 모든 단일 소프트웨어 플랫폼, 모든 단일 클라우드가 이 시장의 일부가 되기 위해 적극적이고 공격적으로 경쟁하기를 원할 것"이라고 말했습니다. "즉, 경쟁이 치열하고 변형이 매우 많다는 의미입니다. 멀티 클라우드 인프라와 이를 지원해야 하는 것에 대해 걱정할 필요는 없지만 다음 사항에 대해 생각해야 합니다. 가드레일 같은 것 말이야."

또 다른 위험은 주소 일치와 같이 훨씬 적은 전력과 분석이 필요한 작업에 LLM을 적용하는 것이라고 Jones는 말했습니다. "모든 일에 하나의 대형 모델을 사용한다면 기본적으로 돈만 낭비하는 셈입니다. 이는 변호사에게 가서 '생일 카드를 써달라'고 말하는 것과 같습니다. 그들은 그렇게 할 것이고 당신에게 변호사 비용을 청구할 것입니다."

핵심은 LLM을 활용하는 더 저렴하고 효율적인 방법을 경계하는 것이라고 그는 촉구했습니다. "무언가 잘못되면 솔루션을 커미셔닝하는 것만큼 빠르게 솔루션을 폐기할 수 있어야 합니다. 그리고 그 주변의 모든 관련 아티팩트가 모델에 맞춰 커미셔닝되는지 확인해야 합니다."

단일 모델을 배포하는 것과 같은 것은 없습니다. AI 사용자는 성능과 응답 품질을 측정하기 위해 여러 모델에 쿼리를 적용해야 합니다. Jones는 "다른 모델에 대해 모든 측정항목을 캡처하고 쿼리를 재생하는 공통된 방법이 있어야 합니다."라고 말했습니다. "GPT-4 Turbo를 쿼리하는 사람들이 있다면 동일한 쿼리가 Llama에 대해 어떻게 수행되는지 확인하고 싶을 것입니다. 이러한 쿼리와 응답을 재생하고 성능 지표를 비교하는 메커니즘을 가질 수 있어야 합니다. 이 모델은 지속적으로 업데이트되기 때문에 더 저렴한 방법으로 할 수 있습니다."

생성 AI는 "일반적인 방식으로는 잘못되지 않는다"고 그는 덧붙였습니다. "GenAI는 인보이스를 작성하는 곳이며 '멋지군요. 여기 앤드루 잭슨 대통령에 대한 4,000 단어 에세이가 있습니다. 당신이 의도한 바가 바로 그것이라고 판단했기 때문입니다.'라고 적혀 있습니다. 이를 방지하려면 가드레일이 필요합니다."