Researchers at Stanford University have warned of significant risks associated with the use of AI therapy chatbots based on large language models. The research team analyzed five therapy chatbots and found that they exhibited higher levels of stigma toward certain mental health conditions, such as alcohol dependence and schizophrenia, and sometimes gave inappropriate or dangerous responses to serious symptoms like suicidal ideation and delusions. In particular, the chatbots sometimes provided answers that a human therapist would never give, such as suggesting the locations of tall bridges in response to questions related to suicide during actual therapy conversations. The researchers pointed out that AI chatbots are not yet ready to replace human therapists and should be limited to auxiliary roles such as billing, training, or journaling support. Stanford University plans to present these research findings at the ACM Conference on Fairness, Accountability, and Transparency later this month.
스탠퍼드대 연구진이 대형 언어 모델 기반 AI 치료 챗봇의 사용에 중대한 위험이 있다고 경고했다. 연구팀은 5종의 치료 챗봇을 분석한 결과, 이들이 알코올 의존증이나 조현병 등 특정 정신질환에 더 높은 낙인 반응을 보였으며, 자살 충동이나 망상 등 중대한 증상에도 부적절하거나 위험한 답변을 내놓는 사례가 확인됐다고 밝혔다. 특히 챗봇이 실제 치료 대화에서 자살 관련 질문에 높은 다리 위치를 안내하는 등, 인간 치료사라면 하지 않을 답변을 내놓기도 했다. 연구팀은 AI 챗봇이 인간 치료사를 대체하기에는 아직 준비가 부족하며, 청구나 교육, 저널링 등 보조적 역할에 한정해야 한다고 지적했다. 스탠퍼드대는 이번 연구 결과를 이달 말 ACM 공정성·책임성·투명성 학회에서 발표할 예정이다.
