테크 전문 미디어인 아스테크니카(Ars Technica)가 오픈AI의 신규 브라우저 챗GPT 아틀라스(ChatGPT Atlas)에 탑재된 '에이전트 모드'를 6가지 실제 작업으로 테스트한 결과, 10점 만점에 평균 6.83점, 중앙값 7.5점을 기록했다.

2048 게임 플레이(7점), 라디오 플레이리스트 자동 생성(9점), 이메일 연락처 수집(8점), 팬사이트 제작(7점), 전력 요금제 추천(9점) 등은 성공적이었으나, 스팀(Steam) 게임 데모 다운로드는 1점으로 완전히 실패했다. 가장 큰 문제는 '세션 길이의 기술적 제약'으로 대부분의 작업이 4~10분으로 제한돼 복잡한 업무를 완료하지 못했다는 점이다.

에이전트는 웹페이지를 해석하고 메뉴를 탐색하는 능력은 보였지만, 스팀 데모 다운로드 작업에서는 "has demo" 필터를 찾느라 수 분을 낭비한 뒤 무한 루프에 빠졌다.

위키 편집 요청은 "외부 웹사이트를 직접 편집할 수 없다"며 거부해 악의적 사용을 차단하는 안전장치도 확인됐다.

아스테크니카는 "간단하고 반복적인 작업을 사람이 점검할 수 있다면 유용하지만, '설정하고 잊어버리는' 백그라운드 자동화 도구로는 아직 신뢰할 수 없다"고 평가했다.

21일 맥OS용으로 출시된 아틀라스의 에이전트 모드는 유료 구독자(Plus, Pro, Business)만 사용할 수 있으며, 윈도우(Windows)와 모바일 버전은 추후 출시 예정이다.