합성 데이터가 AI의 개인 정보 보호 문제를 해결할 수 있습니까? 이 회사는 그것에 베팅하고 있습니다.

대부분 AI는 고객 정보를 보호하기 위해 합성 텍스트 제작기를 출시했습니다. 작동 방식 및 모델 붕괴에 대한 우려 여부.

더 많은 회사가 맞춤형 사용 사례 및 제품을 위해 생성 AI(gen AI)에 투자함에 따라 대규모 언어 모델(LLM)을 교육하는 데 독점 데이터가 점점 더 중요해지고 있습니다. 인터넷에서 스크랩한 이메일, 스크립트, 소셜 미디어, 문서 등 수십억 개의 공개 데이터 포인트에 대해 교육을 받은 ChatGPT와 달리 엔터프라이즈 세대 AI는 해당 비즈니스의 고객 데이터에 지정되어야 하는 경우가 많습니다.

그러나 실제 고객의 데이터에는 개인 식별 정보(PII)가 포함될 수 있으므로 사용 시 개인 정보 보호 위험이 있습니다. 구조화된 합성 데이터 회사인 대부분 AI가 여기에 참여합니다.

화요일에 회사는 합성 데이터 생성 프로세스를 자동화하고 사용자의 원본 데이터세트 패턴을 보존하는 합성 텍스트 기능을 출시했습니다.

Mostly AI는 합성 데이터를 사용하여 모델을 훈련함으로써 이메일, 지원 기록, 챗봇 교환과 같은 고객 데이터가 공개할 수 있는 통찰력을 희생하지 않고도 기업이 개인 정보 보호 위험을 피할 수 있도록 돕는 것을 목표로 합니다. 회사에 따르면 합성 데이터는 원본 데이터보다 더 많은 다양성을 나타낼 수도 있습니다.

개인 정보 보호 외에도 다른 사용 사례에는 데이터 세트를 재조정하여 모델에 맞게 조정하거나 편견을 제거하고 소프트웨어 테스트를 위한 모의 데이터를 생성하는 것이 포함됩니다.

작동 원리

회사는 원본 데이터의 메타데이터를 포함하는 개인 정보 보호 재사용 가능 번들인 Mostly AI 생성기에 독점 데이터 세트를 업로드합니다. 사용자는 로컬 장치나 다른 외부 소스에서 데이터를 업로드하고 Mostly AI 플랫폼에서 생성기를 미세 조정할 수 있습니다.

ZDNET으로 전송된 데모에 표시된 대부분의 AI 플랫폼

올바른 구성과 인코딩 유형을 확인한 후 사용자는 사용하려는 대부분의 AI 모델 중에서 선택한 다음 HuggingFace의 사전 훈련된 옵션을 포함하여 여러 언어 모델 중에서 선택합니다.

나타나는 것은 원래의 통계 패턴을 보존하는 개인 정보 보호 및 합성 버전의 데이터입니다.

모델 선택

이 설정은 기업의 발전기를 교육하는 데 도움이 됩니다. 그런 다음 사용자는 모델 보고서를 사용하여 합성 데이터와 실제 데이터를 비교하여 정확성을 확인할 수 있습니다.

대부분 AI는 자사의 데이터 세트가 "많은 세부 정보가 포함된 회사의 원본 고객 데이터처럼 실제처럼 보이지만 원본 개인 데이터 포인트는 없어 회사가 GDPR 및 CCPA와 같은 개인 정보 보호 규정을 준수하는 데 도움이 됩니다"라고 말합니다. 회사는 합성 텍스트가 "GPT-4o-mini가 실제 사례를 전혀 또는 몇 개만 제공하도록 유도하여 생성된 텍스트에 비해 최대 35% 성능 향상을 제공한다"고 덧붙였습니다.

그렇다면 합성 데이터가 정말로 AI의 미래일까요?

4월의 AGartner 보고서에서는 합성 데이터가 소프트웨어 엔지니어링에서 실현되지 않은 잠재력을 갖고 있음을 발견했지만 신중하게 배포해야 한다고 권장합니다. 합성 데이터를 효과적으로 사용하려면 각 사용 사례에 대한 특정 테스트 단계가 필요하므로 합성 데이터를 생성하는 데는 리소스 집약적일 수 있습니다.

모스틀리 AI(Mostly AI) CEO인 토비아스 한(Tobias Hann)은 보도 자료에서 "오늘날 AI 훈련은 모델이 공공 데이터 소스를 고갈시키고 수익이 감소함에 따라 정체기에 접어들고 있습니다"라고 말했습니다. "현재 사용되는 잔여 공공 데이터보다 훨씬 더 큰 가치와 잠재력을 제공하는 고품질의 독점 데이터를 활용하기 위해 글로벌 기업은 도약하고 정형 및 비정형 합성 데이터를 모두 활용하여 향후 생성 AI 솔루션을 안전하게 훈련하고 배포해야 합니다. "

일반적인 우려는 모델이 수집할 공개 데이터가 부족하기 때문에 부분적으로 AI 버블이 곧 터질 것이라는 점입니다. 기술적으로는 그렇지 않습니다. 모든 인간 활동은 데이터가 될 수 있지만 단순히 코드화, 수집, 구조화 및 무료가 아닐 수도 있습니다. 모델을 교육하기 위해 더 많은 유용한 데이터가 필요한 것은 현실입니다. 결국, 손으로 쓴 메모의 지저분한 페이지를 디지털화하는 것보다 합성 데이터를 생성하는 데 능숙해지는 것이 훨씬 쉽고 저렴합니다. EvenMeta는 Llama 3.1 405B를 훈련시키기 위해 인간 데이터와 합성 데이터를 모두 사용했습니다.

하지만 모델 붕괴, 즉 합성 데이터를 너무 많이 섭취하면 모델이 저하된다는 생각은 어떻습니까?

대부분 AI는 ZDNET에 보낸 이메일에서 모델을 반복적으로 훈련하는 데 사용되기보다는 "합성 데이터가 한 번 생성되어 다운스트림 작업에 직접 적용"되기 때문에 이러한 가능성을 피한다고 밝혔습니다.

산업 전반에 걸쳐 합성 데이터의 사용이 증가하면 모델 붕괴라는 더 큰 그림의 위협이 발생하는지 여부는 아직 알 수 없습니다. 그때까지 Mostly AI 도구에 관심이 있는 기업은 해당 웹사이트를 방문할 수 있습니다.