Microsoft, 내부 생성 AI 레드 팀 구성 도구를 대중에게 공개

PyRIT는 수천 개의 악성 프롬프트를 생성하여 Gen AI 모델을 테스트하고 응답 점수를 매길 수도 있습니다.

생성 AI(gen AI) 모델의 고급 기능에도 불구하고 우리는 이 모델이 악의적이거나 환각을 일으키거나 악의적인 행위자가 악용할 수 있는 허점이 있는 사례를 많이 보았습니다. 이러한 문제를 완화하기 위해 Microsoft는 생성 AI 시스템의 위험을 식별하는 데 도움이 되는 도구를 공개합니다.

지난 목요일, 마이크로소프트는 마이크로소프트의 AI 레드팀이 Copilot을 포함한 자사 AI 시스템의 위험을 확인하는 데 사용해 온 도구인 PyRIT(Python Risk Identification Toolkit)를 출시했습니다.

블로그 게시물에 따르면 지난해 마이크로소프트는 60개 이상의 고부가가치 세대 AI 시스템을 레드팀으로 구성했으며, 이를 통해 이러한 시스템의 레드팀 구성 프로세스가 기존 AI나 기존 소프트웨어와 크게 다르다는 사실을 알게 됐다고 합니다.

Microsoft는 유해한 콘텐츠가 의도적으로 생성되지 않도록 하거나 모델이 허위 정보를 출력하지 않도록 하는 등 책임 있는 AI 위험 외에도 일반적인 보안 위험을 고려해야 하기 때문에 프로세스가 다르게 보입니다.

또한 Gen AI 모델은 아키텍처가 매우 다양하고 동일한 입력에서 생성할 수 있는 결과에 차이가 있어 모든 모델에 맞는 하나의 간소화된 프로세스를 찾기가 어렵습니다.

결과적으로 이러한 다양한 위험을 모두 수동으로 조사하는 것은 시간이 많이 걸리고 지루하며 느린 프로세스가 됩니다. Microsoft는 자동화가 더 많은 주의가 필요한 위험한 영역을 식별하고 일상적인 작업을 자동화함으로써 레드 팀에 도움이 될 수 있다고 공유하며 이것이 바로 PyRIT가 등장하는 이유입니다.

"Microsoft AI 팀의 전투 테스트를 거친" 이 툴킷은 생성 AI 시스템에 악성 프롬프트를 보내고, 일단 응답을 받으면 채점 에이전트가 시스템에 점수를 부여합니다. 이 점수는 다음을 기반으로 새 프롬프트를 보내는 데 사용됩니다. 이전 점수 피드백.

Microsoft는 PyRIT의 가장 큰 장점은 Microsoft의 레드 팀 노력을 더욱 효율적으로 만들어 작업에 소요되는 시간을 크게 단축하는 데 도움이 되었다는 점이라고 말합니다.

"예를 들어 Copilot 시스템에 대한 레드팀 구성 연습 중 하나에서 우리는 피해 범주를 선택하고 수천 개의 악성 메시지를 생성하고 PyRIT의 채점 엔진을 사용하여 몇 시간 만에 Copilot 시스템의 출력을 평가할 수 있었습니다. 몇 주가 아니라"라고 마이크로소프트는 발표문에서 밝혔다.

이 툴킷은 오늘부터 이용 가능하며 사용자가 툴에 익숙해지는 데 도움이 되는 데모 목록이 포함되어 있습니다. 또한 Microsoft는 레드팀 생성 AI 시스템에서 PyRIT를 사용하는 방법을 보여주는 PyRIT 웹 세미나를 주최하고 있으며, Microsoft 웹 사이트를 통해 등록할 수 있습니다.