구글이 자사 AI 모델 젬마(Gemma)가 미국 상원의원에게 허위 성범죄 혐의를 생성한 후 AI 스튜디오에서 해당 모델을 긴급 제외했다.

테네시주 공화당 마샤 블랙번 상원의원은 젬마가 자신에 대한 강간 혐의 질문에 1987년 선거 운동 중 주 경찰관과의 성관계 및 강압적 약물 취득 등 완전히 허위인 내용을 생성했다고 고발했다. 블랙번 의원은 실제로 1998년에 출마했으며, 해당 인물이나 뉴스 기사는 전혀 존재하지 않는다며 이는 단순한 환각이 아니라 명백한 명예훼손이라고 주장했다.

이에 앞서 보수 활동가 로비 스타벅도 구글 AI가 자신을 아동 성범죄자로 묘사했다며 최소 약 214억원(1,500만 달러) 규모의 소송을 제기한 바 있다.

구글은 금요일 밤 성명을 통해 젬마는 개발자용 오픈소스 모델로 일반 소비자 도구로 사용되도록 의도되지 않았다며 AI 스튜디오에서 제거했지만 API를 통해서는 계속 제공한다고 밝혔다.

트럼프 행정부는 올해 초 '깨어있는 AI(woke AI)' 금지 행정명령을 발동한 상태에서 보수 인사들은 구글 AI 시스템이 보수 인물에 대한 일관된 편향 패턴을 보인다고 비판하고 있다. 이번 사태는 대형언어모델(LLM)의 환각 현상이 단순한 기술적 오류를 넘어 법적 책임 문제로 확대될 수 있음을 보여주는 중요한 사례가 되고 있다.