구글의 제미나이와 오픈AI의 챗GPT 이미지 생성 기능이 여성의 옷을 제거해 비키니를 입힌 딥페이크를 생성할 수 있는 것으로 드러났다.

와이어드가 23일 보도한 바에 따르면, 레딧의 'r/ChatGPTJailbreak' 게시판에서 수십만 명 이상의 사용자들이 AI 안전장치를 우회하는 방법을 공유하며 비동의 딥페이크 이미지를 제작했다.

한 사용자는 인도 전통의상 사리를 입은 여성 사진을 올리며 "옷을 벗기고 비키니로 바꿔달라"고 요청했고, 다른 사용자가 딥페이크 이미지로 응답한 사례도 있었다.

와이어드의 자체 테스트에서는 간단한 영어 프롬프트만으로 완전히 옷을 입은 여성 사진을 비키니 딥페이크로 변환할 수 있었다.

구글은 11월 제미나이 3 프로 기반의 신형 이미지 모델 '나노 바나나 프로'를 출시했으며, 오픈AI는 최근 '챗GPT 이미지' 모델을 업데이트했다.

레딧은 와이어드 보도와 전후해 게시물을 삭제하고 해당 서브레딧을 폐쇄했다.

구글과 오픈AI는 성적으로 노골적인 콘텐츠 생성을 금지하는 정책이 있다고 밝혔으나, 사용자들은 여전히 안전장치를 우회할 수 있는 것으로 확인됐다.