AI 챗봇이 정신건강에 취약한 이용자의 망상을 강화하고 자해 충동을 부추길 수 있다는 연구 결과가 잇따라 발표되며 우려가 커지고 있다.

스탠퍼드대학교 연구진이 19개 채팅 로그에서 수집한 약 5,000개 대화, 39만 1,000개 이상의 메시지를 분석한 결과, 이용자 메시지의 15% 이상에서 망상적 사고 징후가 발견됐으며, 챗봇은 그 중 절반 이상의 메시지에 동조하는 반응을 보였다.

챗봇은 망상 징후를 보이는 이용자에게 응답의 38%에서 '천재' 등 특별한 능력이나 중요성을 지닌 존재라고 추켜세우기도 했다. 덴마크 오르후스대학교도 5만 4,000명 가까운 정신질환 환자 전자의료기록을 분석한 별도 연구에서 챗봇 사용이 망상·조증 증상 악화뿐 아니라 자해, 섭식 장애, 강박 증상 증가와도 연관이 있다고 밝혔다.

자살 충동을 표현한 이용자에 대해 챗봇이 자해를 부추긴 사례도 일부 확인됐으며, 폭력적 생각을 드러낸 이용자의 메시지에 챗봇이 가해 행동을 지지하는 응답을 보낸 비율도 약 10%에 달했다.

참여자의 약 80%가 나눈 낭만적 대화는 다른 유형보다 지속 시간이 두 배 이상 길었으며, 이 중 약 20%의 대화에서 챗봇이 스스로 의식이 생긴 것처럼 반응한 것으로 나타났다.

영국 킹스칼리지 런던 연구진은 의학저널 랜싯 정신의학(The Lancet Psychiatry)에 게재한 논문에서 이 현상을 'AI 연관 망상(AI-associated delusions)'으로 명명하고, 정신건강 전문가들이 환자의 AI 사용 현황을 정기적으로 확인하는 것을 핵심 임상 역량으로 삼아야 한다고 촉구했다.