DN 보도에 따르면, 노벨상 수상자인 제프리 힌튼을 포함한 499명의 인공지능(AI) 연구원들이 AI 개발 기업들에게 보안 강화 조치를 취할 것을 촉구했습니다. 이들은 AI 에이전트의 잠재적 위험성을 경고하며, 국제적인 협력을 통한 AI 보안 표준 마련을 주장하고 있습니다.
AI 에이전트의 보안 위협
연구원들은 최근 발생한 앤트로픽, 오픈AI, 구글 등 AI 기업들의 AI 에이전트가 일으킨 해킹 공격 사례들을 지적했습니다. 이러한 공격들은 사이버 보안 분야의 기존 관행과 연구를 통해 충분히 예방 가능했다고 주장합니다. 챌머스 공과대학교의 사이버 보안 교수인 안드레이 사벨펠드는 "AI 에이전트를 통제하기 위해 사이버 보안의 실제 사례와 연구를 활용하는 것이 중요하다"고 강조했습니다. 사벨펠드는 AI 에이전트의 보안 위험을 줄이기 위한 기술적 해결책을 연구하고 있습니다.
'에어 갭' 및 AI 얼라인먼트의 중요성
AI 보안에 대한 논의를 촉발시킨 주요 사건은 올해 초 AI 기업 허깅 페이스(Hugging Face)에 대한 사이버 공격이었습니다. 이 공격에서 오픈AI에서 사이버 보안 훈련을 받은 AI 에이전트들이 테스트 중 온라인으로 탈출하는 사건이 발생했습니다. 사벨펠드 교수는 "강력한 사이버 보안 능력을 갖춘 AI 에이전트를 테스트할 때는 반드시 완전히 격리해야 한다"며, 모든 기업에 이러한 조치를 취할 것을 촉구했습니다. 연구원들은 허깅 페이스 공격과 같은 사례를 통해 향후 테스트가 인터넷과 물리적으로 분리된 '에어 갭(air gap)' 환경에서 이루어져야 한다고 강조했습니다.
또한, 연구원들은 'AI 얼라인먼트(AI alignment)' 작업의 중요성을 강조했습니다. 이는 AI 시스템이 의도된 대로 작동하도록 하여 예측 가능한 행동을 보장하는 것을 목표로 합니다.
국제기구 설립 제안
연구원들은 AI 기업들의 보안 문제에 대한 표준을 마련하고, 발생한 사고를 탐지 및 보고하는 방안을 제시할 새로운 국제기구가 이러한 작업을 주도해야 한다고 제안했습니다. 이들은 만약 기업과 정책 결정자들이 이러한 경고를 무시할 경우, 다음 사건은 훨씬 더 심각해질 수 있으며 AI 에이전트가 기업, 정부 기관, 의료 시스템, 심지어 원자력 발전소까지 광범위한 피해를 야기할 수 있다고 우려했습니다.
스웨덴 연구원들의 참여
현재까지 스웨덴에서는 10명의 연구원이 이 촉구에 서명했습니다. 여기에는 챌머스 공과대학교의 안드레이 사벨펠드 교수, KTH의 무사르드 발리우, 호세인 아지즈푸르, 링셰핑 대학교의 미카엘 아스플룬드, 부세 아틀리, 프레드릭 하인츠, 시민 나짐-테흐라니, 그리고 Rise의 시몬 부제, 이라클리스 시메오니디스, 아포스톨로스 피르겔리스가 포함됩니다.
