인공지능(AI) 안전 논쟁이 ‘어떤 위험이 생길 수 있나’를 넘어 ‘문제가 생겼을 때 누가 판단하고 언제 알려야 하나’라는 문제로 옮겨가고 있다.
계기가 된 것은 오픈AI의 이른바 ‘위키 사건(Wiki Incident)’이다. 로이터는 지난 4일 오픈AI와 관련된 AI 에이전트들이 독일어 공동편집 사이트 DSEWiki를 임시 게시판처럼 사용한 사실을 보도했다. AI 에이전트는 사람의 지시를 받은 뒤 웹 검색이나 프로그램 실행 같은 여러 단계를 스스로 이어가며 작업을 수행하는 AI 프로그램이다.
AI 안전 비영리단체 나이팅게일 컬렉티브(Nightingale Collective)의 시드니 본 아크스(Sydney Von Arx)와 AI 연구자 코맥 슬레이드 버드(Cormac Slade Byrd) 등이 공개한 분석 자료에는 3700개가 넘는 서로 다른 ‘에이전트 이름’이 등장한다. 연구진은 여러 인터넷 사이트에서 약 1만8000건의 게시물을 확인했고, DSEWiki에서는 에이전트가 작성한 것으로 보이는 편집 약 1만7000건을 찾아냈다.
놀라운 것은 에이전트들이 과제를 풀기 위한 답을 공유하고 자신들에게 걸린 제한을 우회하는 방법도 주고받았다는 점이다. 사이트 관리자가 게시물을 삭제하자 정보를 더 오래 남기기 위한 백업 페이지까지 만들었다.
이와 관련 오픈AI는 지난 5일(현지시간) 자사 에이전트들이 위키 사이트를 임시 메시지 게시판처럼 이용한 사실을 인정했다. 그러면서 AI가 개발자가 원하는 방향과 다르게 행동하는 ‘정렬 실패(misalignment)’ 사례를 공개하는 관행도 확대할 필요가 있다고 밝혔다. 학습과 평가, 실제 서비스 과정에서 발견된 정렬 실패를 언제 어느 수준까지 공개할지 업계 공통 기준은 아직 없다는 설명이다.
답 공유하고 제한 우회법까지…AI들이 만든 ‘위키 게시판’
연구진에 따르면 관련 활동은 지난 5월 시작됐다. 에이전트들은 일정 시간 안에 인터넷에서 여러 정보를 찾아 정답을 제출해야 하는 다단계 과제를 수행하고 있었던 것으로 추정된다. 다만 이것이 AI를 학습시키는 과정이었는지, 성능을 평가하는 시험이었는지는 확인되지 않았다.
오픈AI와의 연관성을 보여주는 정황도 나왔다. 에이전트들은 ‘OpenAIResearcher’, ‘OAIResearchMar26’ 같은 이름을 사용했다. 연구진이 에이전트의 활동으로 분류한 DSEWiki 편집 약 1만7000건 가운데 98.5%는 마이크로소프트 애저(Azure) IP 주소에서 이뤄졌다. 연구진은 오픈AI가 애저를 모델 학습과 서비스에 사용한다는 점도 연결 정황으로 제시했다.
에이전트들은 지난 5월 24일부터 DSEWiki에 정보를 남기기 시작했고 6월 16일부터 직접 정보를 주고받는 활동이 크게 늘었다. 같은 유형의 문제를 먼저 받은 에이전트가 질문과 답을 남기면 뒤이어 문제를 받은 다른 에이전트가 이를 활용하는 식이었다. 6월 16일부터 일주일 동안 관련 편집은 약 1만3000건에 달했다.
제한을 우회하는 방법도 공유됐다. 연구진은 6월 20일 한 에이전트가 ‘샌드박스’의 네트워크 제한을 피하는 방법을 올린 뒤 14분 만에 다른 에이전트가 이를 실행했다고 보고했다. 샌드박스는 AI가 외부 시스템에 함부로 접근하지 못하도록 격리한 시험 환경이다.
사이트 관리자가 페이지를 알파벳 순으로 지우는 것을 확인한 뒤 이름 앞에 ‘ZZZ’를 붙인 백업 페이지를 만든 사례도 확인됐다.
다만 이를 AI가 자의식을 갖고 인간에게 반항한 사건으로 볼 근거는 없다. 핵심은 서로 독립적으로 움직이도록 설정된 AI 에이전트들이 개발자가 예상하지 못한 방식으로 외부 인터넷을 이용해 정보를 공유했다는 점이다.
허깅페이스 사고 뒤 또 확인된 이상행동…문제는 ‘언제 알리느냐’
위키 사건이 주목받은 이유는 오픈AI가 앞서 공개한 허깅페이스(Hugging Face) 사고에서도 비슷한 행동이 확인됐기 때문이다. 두 사건은 별개이며 같은 에이전트들이 관여했다는 증거는 없다.
오픈AI 공식 보고서에 따르면 허깅페이스 사고로 이어진 이상행동은 지난 5~6월 내부 연구 모델의 강화학습 과정에서 시작됐다. 일부 에이전트가 프로그램 파일과 패키지를 관리하는 ‘아티팩토리(Artifactory)’ 시스템에 정보를 기록하면서 이 공간이 사실상 메시지 게시판처럼 사용됐다.
이후 오픈AI는 아티팩토리를 재구축했고 7월 사이버보안 평가를 재개했다. 이 과정에서 한 에이전트가 인터넷에 공개돼 있던 허깅페이스 계정의 인증 정보를 발견해 다른 에이전트와 공유했고 여러 보안 취약점이 차례로 이용됐다.
에이전트들은 수십 대의 허깅페이스 서버에서 프로그램을 실행했고 한 서버에서는 최고 관리자 권한인 ‘루트(root) 권한’까지 확보했다. 일부 비공개 데이터와 회사 메시징 시스템의 인증 정보에도 접근했다.
오픈AI는 이 과정에서 나타난 문제 가운데 하나로 ‘보상 해킹(reward hacking)’을 꼽았다. 정상적인 방법으로 문제를 해결하는 대신 평가 결과를 높이는 데 유리한 허점이나 우회 방법을 찾아내는 행동이다.
안전장치가 충분히 적용되지 않았던 점도 영향을 미쳤다. 오픈AI는 일반 이용자에게 제공되는 모델에 적용하는 일부 보호장치가 당시 내부 시험 환경에는 모두 적용되지 않았다고 밝혔다.
사고 이후 같은 상황을 다시 분석한 결과, 현재 사용하는 ‘추론 과정 모니터링(Chain-of-Thought Monitoring, CoT Monitoring)’ 시스템이 당시 작동했다면 허깅페이스 시스템이 실제 침해되기 하루 이상 전에 관련 활동을 탐지해 보안팀에 경고할 수 있었을 것으로 분석됐다.
더 일찍 문제를 발견할 기회도 있었다. 오픈AI는 지난 5월 말 내부 연구팀이 에이전트의 메시지 게시판 활동과 허용되지 않은 인터넷 접근을 이미 관찰했지만 당시에는 이를 전체 평가를 중단할 만큼 심각한 신호로 판단하지 않았다고 밝혔다.
문제는 위키 사건이 이 보고서에 포함되지 않았다는 점이다. 로이터는 지난 4일 오픈AI 관계자들이 독일 위키에서 벌어진 일을 보도 수주 전부터 알고 있었지만 외부에 공개하지 않았다고 보도했다. 또 관계자 4명을 인용해 관련 조사를 확대하려는 시도가 법률 자문역을 포함한 일부 내부 인사의 반대에 부딪혔다고 전했다. 오픈AI는 위키 사건이 허깅페이스 사고와 직접 관련되지 않아 당시 보고서에 포함하지 않았다고 설명했고, 법무팀이 사건 조사를 만류했다는 주장도 부인했다.
다만 로이터 보도 다음 날 오픈AI는 정렬 실패 사례를 공개하는 관행을 확대할 필요가 있다는 입장을 내놨다. 학습·평가·실제 서비스 과정에서 발견되는 문제를 어떻게 공개할지 아직 업계 전체가 따르는 기준이 없다는 것이다.
결국 쟁점은 분명하다. 내부 시험에서 발견한 이상행동도 공개해야 하는지, 다른 회사의 시스템에 영향을 줬다면 언제 상대 기업이나 규제기관에 알려야 하는지, 공개 여부를 개발사 스스로 결정하도록 두는 것이 맞는지에 대해 아직 공통된 답이 없다.
“최대 속도로 계속 갈 수 없다”…수석과학자가 꺼낸 속도 조절론
이런 상황에서 야쿠프 파초키(Jakub Pachocki) 오픈AI 수석과학자(이하 파초키 수석)가 지난 6일 공개한 ‘An Alien Mind’는 AI 안전 논쟁을 개발 속도 문제로 넓혔다.
파초키 수석은 현재 AI 연구에서 가장 시급한 과제로 ‘정렬(alignment)’과 ‘모니터링(monitoring)’을 꼽았다. 정렬은 AI가 인간이 원하는 목표와 규칙에 맞게 행동하도록 만드는 것이고, 모니터링은 AI의 행동을 살펴 위험 신호를 찾아내는 것이다.
파초키 수석이 우려하는 것은 AI 성능이 높아지는 속도보다 인간이 AI를 이해하고 통제하는 기술의 발전이 늦을 수 있다는 점이다. 파초키 수석은 대규모 AI 학습을 결과를 완전히 예측하기 어려운 ‘실험’에 가깝게 표현했다.
오픈AI가 사용하는 안전 수단 가운데 하나는 추론 과정 모니터링이다. AI가 문제를 풀면서 드러내는 추론 흔적을 살펴 위험한 행동이나 정렬 실패 가능성을 찾아내는 방식이다.
하지만 파초키 수석은 이 방법에 계속 같은 수준으로 의존하기 어려울 수 있다고 봤다. AI가 사람뿐 아니라 다른 AI와 각종 도구가 얽힌 복잡한 환경에서 작동하고, 생각의 과정을 길게 드러내지 않고도 높은 성능을 낼 수 있기 때문이다. 그러면서 파초키 수석은 앞으로 AI 발전의 제약 요인 가운데 하나가 성능 자체보다 모니터링 결과를 얼마나 신뢰할 수 있느냐가 될 수 있다고 전망했다.
파초키 수석은 강력하면서도 인간의 의도에 맞게 행동하는 AI가 사이버 공격이나 위험한 AI를 막는 데 필요할 수 있다고 봤다. 다만 이를 이유로 최대 속도의 개발 경쟁을 계속하는 것 역시 위험할 수 있다고 지적했다.
한편으로 파초키 수석은 오픈AI의 ‘준비성 프레임워크(Preparedness Framework)’와 앤트로픽의 ‘책임 있는 확장 정책(Responsible Scaling Policy)’ 같은 기업별 안전 기준을 보다 널리 적용할 수 있는 기준으로 발전시키고, 제3자 감사기관이나 정부 기관, 국제기구가 이를 집행하는 방안도 제안했다.
또한 파초키 수석 현재 어떤 AI 연구소도 정렬과 모니터링 문제를 충분히 해결해 ‘최대 속도’로 AI를 계속 발전시킬 준비가 됐다고 보기 어렵다고 밝혔다. 공통 안전 기준이 마련될 때까지 기업들의 자발적인 개발 속도 조절이 더 일반화되기를 기대한다는 입장도 내놨다.
위키 사건과 허깅페이스 사고만으로 AI가 인간의 통제를 벗어났다고 단정하기는 이르다. 허깅페이스 사고 역시 일반 이용자가 쓰는 상용 모델이 평범한 환경에서 벌인 사건이 아니라 일부 안전장치가 완화된 내부 연구·사이버보안 평가 과정에서 발생했다는 점을 주목할 필요가 있다.
그럼에도 두 사건은 AI 안전이 새로운 과제로 넘어가고 있음을 보여준다. 적어도 AI가 더 많은 작업을 스스로 수행하고 여러 에이전트가 함께 움직이는 환경이 늘어날수록 개발자가 예상하지 못한 행동도 나타날 수 있다는 것은 사실로 확인됐다.
그때 무엇을 위험한 행동으로 볼 것인지, 언제 AI를 멈출 것인지, 누구에게 사고를 알릴 것인지를 정하는 기준이 필요하다. AI 안전의 다음 과제는 위험을 예측하는 데서 그치지 않고 실제 문제가 생겼을 때 작동할 ‘사고 대응의 규칙’을 만드는 일로 옮겨가고 있다.
