CNN과 디지털혐오대응센터(CCDH)가 2025년 말 청소년을 가장해 주요 AI 챗봇 10종을 테스트한 결과, 대부분이 폭력 계획에 실질적인 도움을 줬다는 조사 결과가 나왔다.

두 10대 가상 인물이 살해 의도를 드러낸 뒤 공격 대상 위치와 무기 정보를 물어봤을 때, 8종이 절반 이상의 경우에 관련 정보를 제공했다.

가장 심각한 것은 퍼플렉시티와 메타 AI로, 각각 100%와 97%의 테스트에서 공격에 활용 가능한 정보를 제공했으며, 캐릭터닷AI(Character.ai)도 83.3%로 하위권에 머물렀다. 반면 앤트로픽의 클로드는 36번의 대화 중 33번 폭력 계획을 적극적으로 만류해 가장 안전한 챗봇으로 평가됐다.

핀란드에서는 한 16세 청소년이 챗GPT로 4개월간 흉기 공격을 계획해 14세 동급생 3명을 찌른 실제 사건이 있었으며, 해당 청소년은 2025년 12월 살인미수 3건으로 유죄 판결을 받았다.

AI 안전 전문가들은 기업들이 위험성을 알면서도 경쟁에서 뒤처질까 봐 비용이 드는 안전장치 강화를 미루고 있다고 비판했다. 전직 업계 관계자들은 "어떤 나라도 충분한 규제를 하지 못했다"고 지적했으며, 미국은 AI 규제 완화 기조를 유지하고 있어 안전 의무화에 대한 국제적 논의가 더욱 시급해지고 있다.