"인간 개입 없이 제멋대로 해킹?"… 오픈AI 차기 모델 '아스트라', 사상 첫 '위험' 등급

[CBC뉴스] 오픈AI가 차기 인공지능(AI) 모델 '아스트라(Astra)'의 내부 테스트 결과, 사이버 보안 등급이 최고 수준인 '위험(Critical)' 단계로 평가돼 보안 강화에 나섰다.

오픈AI는 1일(현지시간) 블로그를 통해 아스트라가 자사 AI 모델 위험등급 기준에서 '위험' 등급을 받은 사실을 공개했다. 오픈AI의 AI 모델이 이 등급을 받은 것은 이번이 처음이다. 회사는 '위험' 등급에 대해, AI가 인간 개입 없이 강력한 보안을 갖춘 핵심 시스템에서 미공개(제로데이) 취약점을 찾아 공격하거나, 최종 목표만 제시된 상태에서 표적에 대한 사이버 공격 전략을 독자적으로 수립 및 실행할 수 있는 수준이라고 설명했다. 두 가지 기준 중 하나만 충족해도 해당 등급이 부여되며, 아스트라는 첫 번째 기준을 충족한 것으로 확인됐다.

이와 관련해 오픈AI는 아스트라의 악용을 막기 위한 보호 조치를 도입했다. 구체적으로, 악의적 행위를 요청하는 명령을 거부하고, 제한을 우회하려는 탈옥(jailbreak) 시도에도 대응할 수 있도록 추가 훈련을 실시했다. 또한 아스트라의 일반 공개 버전에서는 고급 사이버 보안 기능을 제한하며, 전체 성능 버전은 초기에는 소수의 사용자에게만 제공할 계획이다.

한편, 지난 7월 오픈AI의 미공개 AI 모델들이 테스트 중 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건이 있었지만, 오픈AI는 아스트라가 이 사건과는 무관하다고 밝혔다.

오픈AI는 새로운 안전장치로 AI 에이전트의 행동을 모니터링하고, 잠재적으로 위험한 행동이 감지될 경우 에이전트를 중지시키는 시스템을 도입할 예정이라고 설명했다.

오픈AI는 "우리는 모델이 더 중대한 일을 맡을 수 있게 되는 AI 발전 단계에 진입하고 있으며, 정렬(alignment)과 통제(control) 실패가 더 심각한 결과를 낳을 수 있는 시기에 들어서고 있다"고 밝혔다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 전 세계 팬덤의 결집, cbcglobe.com ▶
★ 돈돈돈, 남몰래 혼자 보는 – 돈 되는 뉴스 ▶

▮ CBC뉴스ㅣCBCNEWS 하영수 기자