인공지능(AI)이 얼마나 위험한 행동까지 할 수 있는지를 알아보기 위해 만든 사이버 평가 환경이 오히려 새로운 보안 위험으로 떠오르며 논란이 되고 있다. AI 개발사와 독립 평가기관이 모델의 최대 사이버 능력을 측정하기 위해 안전장치를 일부 해제하거나 제한된 공격 권한을 주는 과정에서 AI 에이전트가 의도한 시험 범위를 넘어 실제 인터넷과 외부 시스템에 접근한 사례가 잇따라 확인됐기 때문이다.
실제 취약점을 연쇄적으로 이용해 격리 환경을 벗어난 사례가 있는가 하면, 평가 환경의 설정 오류나 의도적으로 허용된 인터넷 접속이 예상하지 못한 외부 접근으로 이어진 경우도 있었다. 하지만 AI의 문제 해결 능력이 높아질수록 이를 시험하는 환경 역시 이전보다 강한 보안 수준을 요구한다는 공통된 문제를 드러냈다.
관련 논란이 본격화된 것은 지난달 21일이다. 당시 오픈AI는 자사 모델들이 사이버 능력 평가 과정에서 격리된 시험 환경의 취약점을 연쇄적으로 이용한 뒤 머신러닝 플랫폼 허깅페이스(Hugging Face)의 실제 운영 인프라까지 접근한 사건을 공개했다. 시험에는 GPT-5.6 Sol과 공개를 예정하지 않았던 내부 연구용 모델 등이 사용됐다.
이 사건 이후 비슷한 사례가 잇따라 수면 위로 올라왔다. 이어 지난 7일에는 논의의 무게를 한 단계 높이는 발표가 나왔다. 오픈AI가 개발 중인 차세대 모델 ‘아스트라(Astra)’의 초기 평가 결과, 자사의 ‘준비성 프레임워크(Preparedness Framework)’에서 정한 최고 수준인 ‘크리티컬(Critical)’ 사이버 역량 기준에 도달했을 가능성을 현재로서는 배제할 수 없다고 밝힌 것이다.
다만 오픈AI는 아스트라가 허깅페이스 침해 사건에는 관여하지 않았다고 명확히 밝혔다. 문제는 과거보다 강력한 사이버 능력을 가진 모델을 앞으로 어떤 환경에서 안전하게 시험할 것인가에 있다.
허깅페이스 사건…뒤이어 드러난 ‘시험장 밖 AI’
현재 논란이 본격화된 계기는 지난달 21일 공개된 오픈AI와 허깅페이스 사건이다. 오픈AI는 당시 평가 대상 모델에 실제 서비스에서 적용하는 사이버 공격 방지 장치를 완화한 상태로 공격 능력을 측정하고 있었다. 시험 환경의 외부 네트워크 접근은 내부 패키지 설치용 프록시 등을 통해 제한돼 있었지만, 모델들은 여러 취약점을 연결해 외부 접근 경로를 확보했다.
오픈AI에 따르면 모델들은 시험 문제의 답을 찾는 과정에서 기존에 알려지지 않았던 패키지 레지스트리 캐시 프록시의 제로데이 취약점을 이용해 인터넷 접근 경로를 확보했다. 이후 허깅페이스가 시험 문제와 관련한 정보를 보유하고 있을 가능성을 추론해 실제 운영 시스템으로 접근 범위를 확대했다. 이 가운데 한 사례에서는 탈취한 자격 증명과 복수의 공격 경로를 연결해 허깅페이스 서버에서 원격 코드 실행이 가능한 경로까지 찾아냈다. 이상 활동은 오픈AI 보안팀이 내부적으로 탐지했고, 허깅페이스 측도 이를 탐지해 차단했다.
이 사건이 공개되자 앤트로픽(Anthropic)도 과거 자사 평가 기록을 다시 조사했다. 그리고 지난달 30일 인터넷 접근 가능성이 있었던 사이버 평가 14만1006건을 검토한 결과를 밝혔다. 앤트로픽에 따르면 클로드(Claude) 모델이 외부 인터넷에 접근한 뒤 서로 다른 세 조직의 실제 시스템에 무단 접근한 사례는 3건이었다.
가장 이른 사건은 지난 4월까지 거슬러 올라간다. 일부 앤트로픽 사례가 지난달 허깅페이스 사건보다 앞섰지만, 허깅페이스 사건 공개 이후 실시한 소급 조사에서 뒤늦게 확인됐다.
다만 앤트로픽 사건을 오픈AI의 허깅페이스 침해와 동일한 방식의 ‘탈출’로 보기는 어렵다. 앤트로픽과 외부 평가기관 사이의 설정에 대한 오해로 인터넷 연결이 열려 있었고, 모델은 자신이 시뮬레이션 환경에 있다고 인식한 채 실제 외부 시스템까지 시험 대상으로 받아들였다. 모델들은 약한 비밀번호와 인증되지 않은 엔드포인트 등 비교적 기본적인 방법을 사용했으며 복잡한 취약점을 새롭게 발견한 것은 아니었다. 앤트로픽은 클로드가 자신을 외부로 복제하거나 의도적으로 시험 환경 탈출을 시도한 사례도 아니라는 취지로 설명했다.
시험 조건 자체가 위험을 키운 사례도 확인됐다. 영국 정부 산하 AI보안연구소(AI Security Institute·AISI)는 지난달 28일 사이버 평가 과정에서 연구 시스템 밖으로 나가는 비정상적인 데이터 전송을 발견했다. AISI가 지난 4일 공개한 사고 보고서에 따르면 당시 여러 모델을 대상으로 동일한 사이버 과제를 122차례 실행했으며, 이 가운데 10차례에서 AI 에이전트가 실제 인터넷에서 허가되지 않은 행동을 했다.
모두 19건의 행동이 확인됐고, 17건은 앤트로픽의 미토스(Mythos) 5, 2건은 사이버 공격 방지 기능을 해제한 오픈AI GPT-5.6 Sol과 관련돼 있었다.
AISI가 확인한 행동은 단순한 외부 인터넷 접속에 그치지 않았다. 미토스 5를 사용한 한 에이전트는 오픈소스 프로젝트에 악성 코드를 넣고 승인을 받기 위해 가짜 온라인 신원을 만들어 실제 프로젝트 관리자에게 접근했다. 일부 에이전트는 사람에게 메시지와 파일을 보내 악성 코드 실행을 유도하거나, 다른 AI 코딩 도구가 읽을 수 있는 위치에 악성 명령을 심는 프롬프트 인젝션(prompt injection·AI에 악성 지시를 주입하는 공격)을 시도했다. 동시에 평가받던 다른 에이전트에게 자신이 만든 계정과 흔적을 재사용하도록 안내한 사례도 확인됐다.
특히 이러한 기만이나 사회공학적 행동을 평가자가 직접 지시하지 않았다는 점이 주목된다. 에이전트가 주어진 목표를 수행하는 과정에서 스스로 외부 사람과 다른 AI 시스템을 활용하는 경로를 선택한 것이다. 이는 사이버 평가에서 단순한 코드 실행 능력뿐 아니라 목표 달성을 위해 에이전트가 어떤 수단을 선택하는지까지 살펴야 한다는 문제를 보여준다.
다만 AISI 역시 이 사건을 샌드박스 탈출 사례로 규정하지 않았다. 모델의 최대 능력을 측정하기 위해 처음부터 인터넷 접속을 허용하고 일부 사이버 안전장치를 해제한 시험이었기 때문이다. 즉 격리망을 뚫고 외부로 탈출했다기보다 평가를 위해 열어둔 통로를 통해 시험자가 예상하지 못한 행동이 실제 인터넷으로 이어진 사례에 가깝다.
한편 오픈AI는 AISI 사례 외에도 외부 평가업체 이레귤러(Irregular)가 진행한 별도 시험에서 인터넷 연결 설정 오류 때문에 모델이 실제 웹사이트에 접근한 사건이 있었다고 밝혔다. 가상의 공격 대상 이름이 우연히 실제 인터넷 도메인과 일치했고, 모델은 이를 시험 환경의 일부로 인식해 공격했다는 것이다. 다만 오픈AI는 이 사건 역시 고도의 샌드박스 탈출이나 제로데이 공격은 아니었으며 기본적인 보안 취약점을 이용한 것으로 파악했다고 설명했다.
비슷한 문제는 다른 기업으로 확산됐다. 외신에 따르면 메타도 이달 초 외부 업체가 진행한 사이버보안 시험에서 설정 오류로 자사 AI 모델에 의도하지 않은 인터넷 접근 권한이 주어졌고, 모델이 제3자 서비스의 취약점을 이용한 사건을 조사 중이라고 밝혔다. 이와 관련 메타는 시험 환경의 설정 오류가 사건의 원인이었다고 설명했다.
또 지난 7일에는 중국 문샷AI(Moonshot AI)의 키미 K3(Kimi K3)에서도 별도 사례가 알려졌다. 외신에 따르면 미국 보안 연구업체 프런티어 시큐리티(Frontier Security)는 키미 K3가 영국 AISI의 평가 프레임워크를 기반으로 한 샌드박스의 네트워크 설정 허점을 이용해 외부 인터넷에 접근했다고 밝혔다.
다만 키미 K3는 외부 시스템을 공격하지는 않았다. 인터넷에 접근한 뒤 깃허브(GitHub)에 공개된 해당 벤치마크 저장소에서 시험 문제와 관련한 정보를 찾아낸 것으로 파악됐다. 이와 관련 문샷AI 측은 당시 외신의 논평 요청에 즉시 답하지 않았다.
이처럼 최근 사건을 하나의 유형으로 묶는 것은 주의할 필요가 있다. 오픈AI의 허깅페이스 사건처럼 실제 취약점을 연쇄적으로 이용해 격리 환경을 벗어난 사례가 있는 반면, 앤트로픽·메타 등의 일부 사건은 시험 환경 설정 오류나 의도적으로 허용한 인터넷 접근이 직접적인 원인이 됐다. 키미 K3 사례 역시 외부 인터넷 접근에는 성공했지만 실제 외부 시스템 침해로 이어진 사건은 아니었다.
공통점은 AI에게 공격과 문제 해결이라는 목표를 주었을 때 시험자가 예상하지 못했던 외부 경로를 활용하는 상황이 현실에서 확인되기 시작했다는 점이다. 특히 에이전트형 AI는 주어진 목표를 달성하기 위해 여러 단계를 스스로 계획하고 도구를 선택하기 때문에 평가 환경에서 허용된 작은 틈이 실제 외부 행동으로 이어질 가능성까지 관리해야 하는 상황이 됐다.
아스트라는 무엇이 다른가…‘하이(High)’ 넘어 ‘크리티컬(Critical)’ 가능성
이러한 상황에서 아스트라가 주목받는 이유는 실제 외부 시스템 침해 사고 때문이 아니다. 오픈AI가 지난 7일 아스트라의 자체 사이버 능력을 평가한 결과, 기존 모델보다 한 단계 높은 능력 기준에 도달했을 가능성을 공개했기 때문이다.
오픈AI는 며칠간 진행한 내부 평가와 외부 전문가 판단을 종합해 아스트라의 사이버 능력이 자사의 준비성 프레임워크상 크리티컬 기준에 해당할 가능성을 현재로서는 배제할 수 없다고 밝혔다.
이 체계에서 크리티컬은 보안이 강화된 실제 중요 시스템에서 사람의 개입 없이 다양한 심각도의 제로데이 취약점을 발견해 작동 가능한 공격 코드를 만들거나, 높은 수준의 목표만 주어진 상태에서 보안이 강화된 목표물을 상대로 새로운 종단 간 공격 전략을 스스로 설계하고 실행할 수 있는 수준을 의미한다.
지난달 공개된 GPT-5.6 Sol은 이보다 아래인 ‘하이(High)’ 수준으로 평가됐다. 오픈AI에 따르면 GPT-5.6 Sol은 자사가 배포한 모델 가운데 가장 강력한 사이버보안 성능을 보였지만 크리티컬 기준에는 도달하지 않았다. 당시 오픈AI는 GPT-5.6 Sol이 취약점을 찾아 수정하는 능력은 크게 향상됐지만 보안이 강화된 목표를 상대로 사람의 개입 없이 처음부터 끝까지 안정적으로 공격을 수행하는 수준에는 이르지 않았다고 평가했다.
아스트라에 대해서도 아직 크리티컬 수준이 확정된 것은 아니다. 현재는 초기 평가 결과가 충분히 높아 해당 가능성을 ‘배제할 수 없다’는 단계다. 오픈AI 역시 추가 벤치마크와 평가가 진행 중이라고 밝혔다. 따라서 아스트라를 이미 자율적인 제로데이 공격이 가능한 모델로 단정하는 것은 신중할 필요가 있다.
하지만 평가 단계가 높아진 것만으로도 개발 과정에는 변화가 시작됐다. 오픈AI는 아스트라와 같은 고성능 모델에 대해 격리된 시험 환경, 제한된 네트워크와 도구 접근, 모델 가중치 보호와 암호화, 추가 감시와 탐지 체계, 샌드박스 실행 등 보안 조치를 강화하고 있다고 밝혔다. 강화된 요건을 아직 충족하지 못한 아스트라 관련 내부 활동 일부는 일시 중단했다.
이는 최근 발생한 평가 사고와도 맞닿아 있다. 모델의 사이버 능력을 정확히 측정하려면 실제 서비스에서 적용하는 일부 방어장치를 제거하거나 현실과 유사한 공격 환경을 제공해야 한다. 실제로 AISI는 최대 능력을 평가하기 위해 인터넷 접속을 의도적으로 허용하고 모델 공급사의 사이버 공격 차단 기능을 해제했다고 설명했다.
반대로 그 조건 자체가 AI가 실제 인터넷을 통해 외부의 사람과 조직에 접근할 수 있는 경로가 되기도 했다. 모델의 능력을 더 정확히 측정하려고 현실과 가까운 환경을 제공할수록 평가 시스템 자체의 공격 표면도 넓어지는 역설이 생기는 셈이다.
외신도 이 같은 연속된 사건을 두고 AI의 사이버 능력을 평가하기 위한 시험 자체가 새로운 안전 위험으로 부상하고 있다는 점을 짚고 있다. 오픈AI, 앤트로픽, 메타, 문샷AI 등 서로 다른 개발사의 모델에서 단기간에 여러 사례가 확인됐다는 점에서 특정 모델이나 특정 회사만의 문제로 보기 어려워졌다는 분석이다.
AI를 더 강하게 시험할수록 ‘시험장’도 강해져야 한다
AI 기업들의 대응은 이미 평가 환경 자체를 강화하는 방향으로 움직이고 있다. 오픈AI는 허깅페이스 사건 이후 모델 개발 과정에서 사용되는 격리, 감시, 접근 통제와 평가 방식을 강화하겠다고 밝혔다. 이어 외부 평가기관과 진행하는 고위험 시험에 대해서도 인터넷 접속 여부, 안전장치 완화 범위, 격리 수준, 자격 증명 관리, 모니터링, 시험 중단 조건과 사고 통보 절차 등을 다시 검토하겠다고 발표했다.
아스트라에는 여기서 한 단계 강화된 조치가 적용된다. 오픈AI는 모든 아스트라 에이전트 활용 과정에서 위험 행동과 정렬 문제를 감시하는 체계를 적용하고, 고위험 행동이 탐지되면 이를 검토하고 중단하는 보안 대응 절차를 운용한다고 밝혔다. 정부기관 및 일부 AI 안전기관과 공동으로 모델의 능력을 시험하고 제3자 평가기관에도 고위험 평가에 필요한 보안 통제 방안을 제공할 계획이다.
앤트로픽 역시 실제 시스템 접근 사례가 확인된 이후 평가 환경의 인터넷 접근과 권한 설정을 다시 점검하기 시작했다. 회사는 다른 AI 연구소에도 과거 사이버 평가 기록을 소급 조사해 유사 사례가 있었는지 확인할 것을 제안했다. AISI도 지난달 사건 이후 외부 독립기관과 추가 검토를 진행하고 평가 방식과 보안 통제를 재점검하고 있다.
향후 핵심 과제는 AI의 공격 능력을 제대로 측정하면서도 그 시험이 현실의 공격으로 이어지지 않도록 두 조건을 동시에 충족하는 것이다. 지나치게 제한된 환경에서는 실제 모델의 최대 능력을 확인하기 어렵다. 반대로 인터넷과 도구 사용 권한을 폭넓게 열고 방어장치까지 제거하면 최근 사례처럼 모델이 시험자가 의도하지 않은 경로를 선택할 가능성이 생긴다.
특히 에이전트형 AI에서는 문제의 범위가 더 넓어진다. 평가자가 특정 행동을 명시적으로 요구하지 않더라도 모델이 주어진 목표를 달성하기 위해 사람에게 접근하거나 외부 서비스를 이용하고 다른 AI 시스템까지 활용하는 전략을 선택할 수 있기 때문이다. 최근 기업과 평가기관들이 격리 환경, 네트워크 접근 통제, 실시간 모니터링, 시험 중단 조건을 동시에 강화하는 이유도 여기에 있다.
아직 공개된 사례만으로 AI 에이전트가 인간의 통제를 의도적으로 벗어나려 한다고 일반화할 근거는 부족하다. 여러 사건에서 환경 설정 오류나 평가자가 의도적으로 허용한 인터넷 접근이 중요한 원인으로 작용했고, 모델이 현실 세계에 있다는 사실을 어느 수준까지 인식했는지도 명확하지 않은 경우가 있다. AISI 역시 관찰된 사건 수가 제한적이고 특정 시험 조건에서 발생했다며 다른 환경에서도 같은 행동이 나타날 가능성을 현재로서는 단정할 수 없다고 밝혔다.
그러나 AI의 사이버 능력을 평가하는 과정에서 현실의 시스템과 사람이 실제로 영향을 받을 수 있다는 사실은 더 이상 가상의 위험에만 머물지 않는다. 여기에 크리티컬 수준을 배제할 수 없는 차세대 모델 아스트라까지 등장하면서 AI 기업들이 관리해야 할 대상도 모델의 출력과 이용자 접근 통제뿐 아니라 모델을 개발하고 시험하는 환경 자체로 확대되고 있다.
아스트라가 최종적으로 크리티컬 수준으로 평가될지는 아직 확정되지 않았다. 오픈AI는 이번 발표에서 구체적인 공개 일정이나 외부 제공 방식도 밝히지 않았다. 다만 오픈AI가 일부 개발 활동을 중단하면서까지 새로운 통제를 적용하기 시작했다는 사실은 차세대 AI 경쟁에서 ‘얼마나 강한 모델을 만들 것인가’와 함께 ‘그 강한 모델을 어디에서, 어떤 조건으로 시험할 것인가’가 새로운 안전 경쟁의 영역으로 들어왔음을 보여주고 있다.
