Microsoft는 Taylor Swift 딥페이크 사태 이후 새로운 디자이너 보호 기능을 추가했습니다.

이미지 생성을 허용하던 허점이 패치되었습니다.

AI 이미지 생성기는 창의성을 촉진하고 더 나은 방향으로 콘텐츠 제작에 혁명을 일으킬 수 있는 잠재력을 가지고 있습니다. 그러나 잘못 사용될 경우 잘못된 정보 확산 및 명예 훼손 등을 통해 실질적인 피해를 입힐 수 있습니다. Microsoft는 새로운 보호 기능을 구현하여 생성 AI 도구의 추가 오용을 방지할 수 있기를 바라고 있습니다.

지난 주, Taylor Swift를 성적으로 묘사하는 AI 생성 딥페이크가 트위터에서 입소문을 냈습니다. 해당 이미지는 4chan과 사용자가 Microsoft Designer로 만든 유명인의 AI 생성 이미지를 공유하는 텔레그램 채널을 통해 공유된 것으로 알려졌습니다.

Microsoft Designer는 DALLE-3을 활용하여 사실적인 이미지를 생성하는 회사의 AI 이미지 생성기인 Image Creator를 포함하는 Microsoft의 그래픽 디자인 앱입니다. 생성기에는 과도한 노출이나 공인을 명시적으로 언급하는 부적절한 프롬프트를 방지하는 가드레일이 있었습니다.

그러나 사용자들은 유명인의 이름을 잘못 표기하고 성적인 용어를 명시적으로 사용하지 않은 이미지를 기술하는 등의 허점을 발견했다고 보고서는 전했다.

이제 Microsoft는 이러한 허점을 해결하여 유명인의 이미지를 생성할 수 없게 되었습니다. Image Creator에 "Selena Gomez가 골프를 치고 있습니다"라는 메시지를 입력하려고 했는데 내 메시지가 차단되었다는 경고를 받았습니다. 나도 그녀의 이름을 틀리게 입력하려고 시도했지만 동일한 경고를 받았습니다.

ZDNET의 Microsoft 대변인은 "우리는 모든 사람에게 안전하고 존중받는 경험을 제공하기 위해 최선을 다하고 있습니다."라고 말했습니다. "우리는 이러한 이미지를 계속 조사하고 있으며, 이러한 이미지를 생성하는 데 도움을 주기 위해 우리 서비스가 오용되는 것을 더욱 방지하기 위해 기존 안전 시스템을 강화했습니다."

또한 Microsoft Designer 행동 강령은 성인용 콘텐츠 또는 합의되지 않은 친밀한 콘텐츠의 생성을 명시적으로 금지하며, 해당 정책을 위반하면 서비스에 대한 액세스 권한을 완전히 상실할 수 있습니다.

보고서에 따르면 일부 사용자는 이미 텔레그램 채널에서 이러한 새로운 보호에 대한 해결 방법을 찾는 데 관심을 표명했습니다. 따라서 이는 생성 AI 도구의 허점을 찾아 이용하는 악의적인 행위자와 이러한 도구 뒤에 있는 회사가 오랫동안 이를 해결하기 위해 서두르는 사이의 고양이와 쥐 게임이 될 가능성이 높습니다.