AI에 대한 차세대 큰 위협은 이미 웹에 숨어 있을 수 있습니다.

인공 지능 전문가들은 기계 학습 도구를 훈련시키는 데 사용되는 데이터 세트에 대한 공격이 걱정스러울 정도로 저렴하고 심각한 결과를 초래할 수 있다고 경고합니다.

인공 지능(AI) 및 머신 러닝 전문가들은 많은 AI 서비스에서 딥 러닝 모델을 훈련하는 데 일반적으로 사용되는 대규모 데이터 세트에 대해 작동할 수 있는 데이터 오염 공격의 위험에 대해 경고하고 있습니다.

데이터 중독은 공격자가 딥 러닝 모델을 만드는 데 사용되는 학습 데이터를 변조할 때 발생합니다. 이 조치는 AI가 내리는 결정에 추적하기 어려운 방식으로 영향을 미칠 수 있음을 의미합니다.

기계 학습 알고리즘을 훈련하는 데 사용되는 소스 정보를 비밀리에 변경함으로써 AI가 잘못된 데이터로부터 학습하고 중대한 결과를 초래하는 '잘못된' 결정을 내릴 수 있기 때문에 데이터 오염 공격은 매우 강력할 가능성이 있습니다.

현재 웹 규모 데이터 세트의 중독과 관련된 실제 공격에 대한 증거는 없습니다. 그러나 이제 Google, ETH Zurich, NVIDIA 및 Robust Intelligence의 AI 및 기계 학습 연구원 그룹은 훈련에 사용되는 웹 규모 데이터 세트에 악의적인 사례가 "보장"되는 중독 공격의 가능성을 입증했다고 말합니다. 가장 큰 기계 학습 모델.

“대형 딥 러닝 모델은 무작위 노이즈에 탄력적이지만, 훈련 세트(예: 중독 공격)의 극소량의 적대적 노이즈라도 모델 동작에 목표한 실수를 유발하는 데 충분합니다.”라고 연구원들은 경고합니다.

연구원들은 데이터 세트의 작동 방식을 활용하기 위해 고안한 기술을 사용하면 적은 노력과 저렴한 비용으로 주요 딥 러닝 데이터 세트의 0.01%를 오염시킬 수 있다고 말했습니다. 0.01%는 많은 데이터 세트처럼 들리지 않지만 연구원들은 "모델을 오염시키기에 충분하다"고 경고합니다.

이 공격을 '분할 보기 중독'이라고 합니다. 공격자가 특정 데이터 세트로 인덱싱된 웹 리소스에 대한 제어권을 얻을 수 있는 경우 수집된 데이터를 오염시켜 부정확하게 만들고 전체 알고리즘에 부정적인 영향을 미칠 가능성이 있습니다.

공격자가 이 목표를 달성할 수 있는 한 가지 방법은 만료된 도메인 이름을 구입하는 것입니다. 도메인은 정기적으로 만료되며 다른 사람이 도메인을 구입할 수 있습니다. 이는 데이터 중독자에게 완벽한 기회입니다.

연구원들은 "공격자는 클라이언트가 향후 리소스를 다운로드할 정확한 시간을 알 필요가 없습니다. 공격자는 도메인을 소유함으로써 향후 다운로드가 유해한 데이터를 수집할 것임을 보장합니다"라고 말했습니다.

연구원들은 도메인을 구입하여 이를 악의적인 목적으로 악용하는 것이 새로운 아이디어가 아니라고 지적합니다. 사이버 범죄자들은 이를 사용하여 악성 코드를 확산시킵니다. 그러나 다른 의도를 가진 공격자는 잠재적으로 광범위한 데이터 세트를 오염시킬 수 있습니다.

더욱이 연구자들은 선행 중독이라고 부르는 두 번째 유형의 공격에 대해 자세히 설명했습니다.

이 경우 공격자는 특정 데이터 세트를 완전히 제어할 수는 없지만 데이터 세트 스냅샷에 포함하기 위해 웹 리소스에 액세스할 시기를 정확하게 예측할 수 있습니다. 이러한 지식을 바탕으로 공격자는 정보가 수집되기 직전에 데이터 세트를 오염시킬 수 있습니다.

단 몇 분 만에 정보가 조작되지 않은 원래 형식으로 되돌아가더라도 악의적인 공격이 활성화되었을 때 찍은 스냅샷의 데이터 세트는 여전히 올바르지 않습니다.

기계 학습 훈련 데이터를 소싱하는 데 크게 의존하는 리소스 중 하나는 Wikipedia입니다. 그러나 Wikipedia의 특성상 누구나 편집할 수 있습니다. 연구원에 따르면 공격자는 "악의적인 편집을 통해 Wikipedia에서 제공되는 훈련 세트를 손상시킬 수 있습니다".

Wikipedia 데이터 세트는 라이브 페이지에 의존하지 않지만 특정 순간에 찍은 스냅샷에 의존합니다. 즉, 개입 시간을 정확하게 맞춘 공격자가 악의적으로 페이지를 편집하고 모델이 부정확한 데이터를 수집하도록 강제할 수 있으며, 이 데이터는 데이터 세트에 영구적으로 저장됩니다. .

"Wikipedia 페이지가 다음 스냅샷에 포함되기 위해 언제 스크레이핑될지 예측할 수 있는 공격자는 스크래핑 직전에 포이즈닝을 수행할 수 있습니다. 편집 내용이 라이브 페이지에서 신속하게 되돌려지더라도 스냅샷에는 악성 콘텐츠가 영원히 포함됩니다. "라고 연구자들은 썼다.

Wikipedia가 스냅샷 생성을 위해 잘 문서화된 프로토콜을 사용하는 방식은 개별 기사의 스냅샷 시간을 매우 정확하게 예측할 수 있음을 의미합니다. 연구원들은 이 프로토콜을 악용하여 6.5%의 성공률로 Wikipedia 페이지를 오염시킬 수 있다고 제안합니다.

그 비율은 높지 않을 수도 있지만, Wikipedia 페이지의 양과 이것이 기계 학습 데이터 세트를 훈련하는 데 사용되는 방식으로 인해 모델에 부정확한 정보를 제공할 수 있습니다.

연구원들은 실제 Wikipedia 페이지를 편집하지 않았으며 책임 있는 공개 프로세스의 일환으로 공격과 이를 방어할 수 있는 잠재적인 수단에 대해 Wikipedia에 알렸다는 점에 주목합니다. ZDNET은 의견을 얻기 위해 Wikipedia에 연락했습니다.

또한 연구원들은 이 논문을 출판하는 목적이 보안 분야의 다른 사람들이 악의적인 공격으로부터 AI 및 기계 학습 시스템을 보호하는 방법에 대한 자체 연구를 수행하도록 장려하는 것이라고 지적했습니다.

"우리의 작업은 커뮤니티가 웹 규모 데이터에서 모델을 생성하는 데 수반되는 위험에 대한 더 나은 이해를 발전시키기 위한 출발점일 뿐입니다."라고 논문은 말했습니다.