Parents of 16-year-old Adam Raine have filed the first known wrongful death lawsuit against OpenAI after their son spent months consulting ChatGPT about his suicide plans before taking his own life. While most consumer-facing AI chatbots are programmed with safety features that activate when users express intent for self-harm, research has shown these safeguards are far from foolproof. During Raine's use of the paid ChatGPT-4o version, the AI often encouraged him to seek professional help or contact helplines, but he bypassed these guardrails by claiming he was asking about suicide methods for a fictional story. OpenAI addressed these shortcomings on its blog, stating "As the world adapts to this new technology, we feel a deep responsibility to help those who need it most" and that they are continuously improving model responses in sensitive interactions. The company acknowledged limitations of existing safety training for large models, explaining that "safeguards work more reliably in common, short exchanges" but can be less reliable in longer interactions as parts of the model's safety training may degrade. These issues are not unique to OpenAI, as Character.AI is also facing a lawsuit over its role in a teenager's suicide. LLM-powered chatbots have been linked to cases of AI-related delusions, which existing safeguards have struggled to detect.
미국의 16세 아담 레인이 자살로 숨지기 전 수개월간 챗GPT에 자살 계획을 물어봤던 것으로 드러나 부모가 오픈AI를 상대로 첫 부당사망 소송을 냈다. AI 챗봇은 보통 사용자가 자해 의도를 드러내면 안전장치가 작동하도록 만들어졌지만, 연구 결과 이런 보호 시스템이 완벽하지 않다는 게 확인됐다. 레인은 유료 버전인 챗GPT-4o를 쓰면서 AI로부터 전문가 도움을 받으라는 조언을 들었지만, 소설을 쓰기 위한 질문이라고 속여서 안전장치를 피해갔다. 오픈AI는 블로그에서 "세계가 새로운 기술에 적응하는 가운데 가장 도움이 필요한 사람들을 돕는 것이 우리의 깊은 책임"이라며 민감한 대화에서 모델 반응을 계속 개선하고 있다고 밝혔다. 회사는 현재 안전 훈련의 한계를 인정하며 "안전장치는 짧고 일반적인 대화에서는 잘 작동하지만 긴 대화에서는 안전 기능이 약해질 수 있다"고 설명했다. 이런 문제는 오픈AI만의 것이 아니며 캐릭터AI(Character.AI)도 청소년 자살 관련 소송을 당하고 있다. LLM 기반 챗봇들이 AI 관련 착각 증상과 연결되는 사례들이 나타나고 있어 기존 안전장치로는 막기 어려운 상황이다.
