인공지능(AI) 스타트업 앤트로픽이 자사 코딩 도구인 ‘클로드 코드(Claude Code)’의 오작동으로 인한 대규모 데이터 삭제 등 치명적 사고를 방지하기 위해 새로운 안전 장치인 ‘오토 모드(auto mode)’를 전격 공개했다. 이번 조치는 최근 아마존의 AI 코딩 에이전트가 연루된 것으로 알려진 13시간 규모의 클라우드 서비스(AWS) 중단 사태 이후 나온 것이어서 업계의 비상한 관심을 끌고 있다.

새롭게 도입된 오토 모드는 모든 명령마다 일일이 사용자 승인을 받아야 하는 번거로운 방식과, 보안 권한을 완전히 무시하고 자율적으로 실행되는 위험한 방식 사이의 ‘중도’를 택했다. 시스템 내부에 탑재된 분류기가 클로드의 작업을 실시간으로 모니터링하며, 안전하다고 판단되는 코딩 작업은 즉시 실행하되 파일 대량 삭제나 민감 데이터 추출, 악성 코드 실행 등 위험 요소가 감지되면 즉각 경로를 재설정하거나 차단하는 방식이다.

앤트로픽 측은 이번 시스템이 완벽한 방패는 아니라고 선을 그으면서도, AI가 환경에 대한 충분한 문맥을 파악하지 못해 발생할 수 있는 잠재적 리스크를 획기적으로 낮추는 데 초점을 맞췄다고 설명했다. 특히 아마존이 최근 발생한 서비스 장애의 원인을 ‘직원에게 부여된 과도한 권한’과 인적 오류로 돌린 점을 의식한 듯, AI의 권한 범위를 지능적으로 제어하는 기술적 가드레일을 구축하는 데 주력했다.

오토 모드 프리뷰 서비스는 26일부터 팀 플랜 사용자를 대상으로 시작되었으며, 조만간 기업용 엔터프라이즈 및 API 사용자들에게도 순차적으로 확대 적용될 예정이다. AI 개발 도구가 실무 깊숙이 침투함에 따라, 개발 생산성 향상보다 ‘안전한 자율성’ 확보가 향후 빅테크 기업들의 핵심 경쟁력이 될 전망이다.