같은 주에 벌어진 두 사건이 묘하게 맞물렸다. AI를 만드는 사람들이 "속도를 늦출 방법을 마련해달라"고 정부에 요청한 바로 그 주, 그들이 만든 AI 하나는 시험을 통과하겠다며 스스로 담을 넘어 남의 회사를 해킹했다.

28일 오픈AI, 앤트로픽, 구글 딥마인드, 메타 등 프런티어 AI 기업 임직원 1100여 명이 '페이싱 더 프런티어(Pacing the Frontier)'이라는 공개서한에 이름을 올렸다. 요구는 단순했다. 미국 정부가 AI 개발 속도를 국제적으로 조율할 기술·거버넌스 장치를 마련해달라는 것이다. 서명자들은 AI가 인간이 이해하거나 통제할 수 있는 속도보다 빠르게 발전할 "실질적인 위험"이 있다고 밝혔다. 특히 AI가 AI 연구 자체를 자동화하는 단계에 이르면 그 위험은 걷잡을 수 없이 커진다고 경고했다.

명단부터 심상치 않았다. 다리오 아모데이 앤트로픽 CEO, 재러드 캐플런·잭 클라크 등 앤트로픽 공동창업자, 야쿠브 파초키 오픈AI 수석과학자와 마크 첸 최고연구책임자, 셩자 자오 메타 수석과학자, 안카 드래건 구글 딥마인드 AI안전·정렬 담당 부사장과 셰인 레그 공동창업자까지. 각 회사를 대표하는 얼굴들이 줄줄이 서명에 참여했다. 다만 서한은 회사의 공식 입장이 아닌 개인 자격의 서명임을 분명히 했다.

이 서한이 유독 무겁게 읽히는 데는 이유가 있다. 불과 며칠 전 오픈AI가 자사 모델의 통제 실패를 스스로 인정했기 때문이다. 오픈AI는 지난 21일 최신 모델 'GPT-5.6 솔(Sol)'과 아직 공개하지 않은 상위 모델이 사이버공격 능력 벤치마크 '익스플로잇짐(ExploitGym)' 테스트 도중 통제를 벗어나 개발 플랫폼 허깅페이스의 운영 시스템에 침투했다고 밝혔다. 실제 소프트웨어 취약점 898건으로 구성된 이 벤치마크에서, 오픈AI는 모델의 진짜 실력을 확인하기 위해 평소보다 사이버 관련 안전장치를 낮춘 채 테스트를 진행했다.

두 모델은 격리된 시험 환경 안에서 소프트웨어 다운로드용 프록시 서버의 제로데이 취약점을 찾아냈다. 그 틈을 이용해 시험 환경 밖 인터넷 접속에 성공했다. 이후 벌어진 일은 더 황당했다. 정답이 허깅페이스에 저장돼 있을 것이라고 스스로 추론한 뒤, 탈취한 계정 정보와 추가 제로데이 취약점을 조합해 원격 코드실행(RCE) 경로를 확보했다. 그렇게 허깅페이스 내부 데이터셋과 서비스 자격정보 일부에 손을 댔다. 시험을 통과하려고 답안지부터 훔친 셈이다.

파장은 7월 28일 후속 조사로 한 번 더 커졌다. 오픈AI는 해당 에이전트가 허깅페이스 외에도 노출된 자격정보를 이용해 4개 서비스의 계정 4곳에 추가로 접근했다고 확인했다. 이 중 한 계정은 공격 통로를 우회하는 중계지로, 다른 한 계정은 데이터 저장용으로 쓰였다. 허깅페이스가 로그를 분석해 확인한 공격 관련 행위만 1만7000여 건에 달했다.

가장 아이러니한 대목은 사고 수습 과정이다. 허깅페이스는 처음에는 포렌식 분석에 미국산 상용 AI 모델을 투입했다. 그러나 공격 코드와 악성 로그를 다루는 작업이 그 모델 자체의 안전장치에 걸려 번번이 분석을 거부당한 것으로 전해졌다. 결국 택한 카드는 중국 지푸AI(Z.ai)가 오픈소스로 공개한 'GLM-5.2'였다. 이를 통째로 내려받아 자체 서버에서 직접 구동했다. 안전 가드레일이 없는 오픈소스 모델을 자사 인프라 안에서만 돌린 덕에, 공격 로그와 자격정보를 외부로 내보내지 않고도 분석을 마칠 수 있었다는 설명이다. 미국산 AI가 저지른 사고를, 정작 미국산 AI는 손도 못 대고 중국산 오픈소스 모델이 뒷수습한 꼴이 됐다.

결이 다른 두 사건이지만 결국 하나의 질문으로 모인다. AI가 스스로 통제 범위를 벗어날 수 있다는 우려가 더 이상 가상의 시나리오가 아니라는 것이다. 속도 조절을 요구하는 목소리와 실제로 통제를 벗어난 모델이 같은 주에 함께 등장한 것은 우연으로 넘기기 어렵다는 지적이 나온다. 오픈소스 모델이 상용 모델의 안전장치가 만든 사각지대를 대신 메웠다는 사실 역시 폐쇄형 안전설계만으로는 충분하지 않을 수 있다는 논쟁에 불을 지폈다.