AI 봇도 우리처럼 사회 공학에 취약합니까?

아마도 챗봇은 인간이 말하는 모든 것을 믿어서는 안 될 것입니다.

"사회 공학"은 정교한 보안 기술을 무력화하는 것보다 쉽기 때문에 해커가 컴퓨터 보안 시스템의 인간적 요소에 대해 사용하는 검증된 전술입니다. 새로운 AI가 더욱 인간과 유사해짐에 따라 이 접근 방식이 효과가 있을까요?

사회 공학이란 무엇입니까?

사이버 보안 세계에서 사회 공학은 사람들이 원하는 것을 하도록 심리적 조작을 사용하는 기술입니다. 정치학의 윤리적으로 모호한 개념과 혼동하지 마세요. 당신이 해커라면 사람들이 하기를 바라는 일에는 민감한 정보를 공개하거나, 비밀번호를 건네주거나, 계정에 직접 돈을 지불하는 것이 포함됩니다.

사회 공학의 범위에는 다양한 해킹 기술이 있습니다. 예를 들어, 맬웨어에 감염된 플래시 드라이브를 그대로 두는 것은 인간의 호기심에 달려 있습니다. 이란 핵 시설의 장비를 파괴한 스턱스넷(Stuxnet) 바이러스가 설치된 USB 드라이브 덕분에 해당 컴퓨터에 침투했을 수도 있습니다.

그러나 그것은 여기서 관련된 사회 공학 유형이 아닙니다. 오히려 "스피어 피싱"(표적 피싱 공격) 및 한 사람이 다른 사람과 대화하여 속임수를 쓰는 "프리텍스팅"(가짜 신원을 사용하여 대상을 속임)과 같은 일반적인 공격이 여기에 관련됩니다.

당신과 통화하거나 채팅방에 있는 "사람"은 결국 어떤 설명을 하는 AI 챗봇이 될 것이 거의 확실하기 때문에 사회 공학 기술이 합성 대상에 여전히 효과적일지에 대한 의문이 제기됩니다.

AI 탈옥은 이미 현실이 되었습니다

챗봇 탈옥은 한동안 존재해 왔으며, 누군가가 챗봇에게 자체 행동 규칙을 위반하거나 완전히 부적절한 일을 하도록 유도할 수 있는 사례가 많이 있습니다.

원칙적으로 탈옥의 존재와 효율성은 챗봇이 실제로 사회 공학에 취약할 수 있음을 시사합니다. 챗봇 개발자들은 제대로 작동하는지 확인하기 위해 반복적으로 범위를 축소하고 엄격한 가드레일을 설치해야 했으며, 이는 해당 가드레일이 노출되거나 우회될 수 있는지 확인하기 위해 또 다른 탈옥에 영감을 주는 것으로 보입니다.

우리는 X(이전의 트위터) 사용자가 게시한 몇 가지 예를 찾을 수 있습니다. 예를 들어 Paris Buttfield-Addison 박사는 은행 챗봇이 어떻게 이름을 변경할 수 있는지 보여주는 스크린샷을 게시했습니다.

봇은 사회공학으로부터 보호받을 수 있나요?

예를 들어 은행 챗봇이 민감한 정보를 포기하도록 설득할 수 있다는 생각은 당연히 우려스럽습니다. 그런 다음 이러한 종류의 남용에 대한 첫 번째 방어선은 먼저 이러한 챗봇이 해당 정보에 액세스할 수 없도록 하는 것입니다. 인간의 감독 없이 우리가 이와 같은 소프트웨어에 얼마나 많은 책임을 맡길 수 있는지는 아직 알 수 없습니다.

반면에 이러한 AI 프로그램이 유용하려면 정보에 대한 액세스가 필요합니다. 따라서 정보를 그들로부터 멀리하는 것은 진정한 해결책이 아닙니다. 예를 들어 AI 프로그램이 호텔 예약을 처리하는 경우 해당 작업을 수행하려면 투숙객의 세부 정보에 액세스해야 합니다. 그렇다면 두려운 점은 능숙한 사기꾼이 인공지능에게 누가 그 호텔에 묵고 있는지, 어느 방에 묵고 있는지를 공개할 수 있다는 것입니다.

또 다른 잠재적인 해결책은 하나의 AI 챗봇이 다른 AI 챗봇을 모니터링하고 그것이 궤도를 벗어나기 시작할 때 개입하는 "버디" 시스템을 사용하는 것입니다. 모든 응답이 사용자에게 전달되기 전에 이를 검토하는 AI 감독자를 두는 것은 이러한 종류의 방법을 완화하는 한 가지 방법이 될 수 있습니다.

궁극적으로 자연어와 논리를 모방하는 소프트웨어를 만들면 인간에게 작동하는 동일한 설득 기술이 적어도 일부 시스템에서도 작동할 것이라는 추론이 가능합니다. 따라서 잠재적인 해커는 사이버 보안에 관한 책과 함께 친구를 사귀고 사람들에게 영향을 미치는 방법을 읽고 싶어할 수도 있습니다.