Anthropic has introduced a new feature that allows its Claude AI to end conversations with users. This feature, applied to the Claude Opus 4 and 4.1 models, is activated only in rare harmful situations, such as requests for sexual content involving minors or demands for information related to large-scale violence and terrorism. Anthropic explained that the feature operates as a “last resort” to end conversations only after multiple attempts to redirect the interaction have failed and productive communication is no longer possible. They also noted that most users will not experience sudden conversation endings. Once a conversation is ended, users can no longer send messages within that conversation but can immediately start a new one. Users are also able to edit or retry previous messages. This feature introduction is part of Anthropic’s research on AI welfare, and the company plans to continue improving it based on user feedback.
앤스로픽의 클로드 AI가 사용자와의 대화를 끝낼 수 있는 기능을 새롭게 도입했다. 클로드 Opus 4 및 4.1 모델에 적용된 이 기능은 미성년자 관련 성적 콘텐츠 요청이나 대규모 폭력 및 테러 관련 정보 요구 등 극히 드문 해로운 상황에서만 활성화된다. 앤스로픽은 여러 차례 대화 전환 시도가 실패하고 생산적인 소통이 어려운 경우에만 대화를 종료하는 ‘최후 수단’으로서 이 기능을 운영한다며, 대부분 사용자는 갑작스러운 대화 종료를 경험하지 않을 것이라고 밝혔다. 대화가 종료되면 해당 대화에서 더 이상 메시지를 보낼 수 없으나, 즉시 새 대화를 시작할 수 있으며 이전 메시지 편집이나 재시도도 가능하다. 이번 기능 도입은 AI 복지 연구의 일환으로, 앤스로픽은 사용자의 피드백을 통해 기능을 계속 개선할 계획이다.
