미국 학교들이 AI를 도입하면서 학생들의 챗봇 대화를 모니터링하는 AI 감시 도구 사용이 급증하고 있다.

블룸버그 보도에 따르면 고가디언(GoGuardian), 라이트스피드 시스템즈(Lightspeed Systems) 등의 기업들이 학생-챗봇 대화를 실시간으로 스캔해 자해 징후를 탐지하는 소프트웨어를 학교에 판매하고 있다.

고가디언 비컨은 5만 1,000명 이상의 교육자가 신뢰하며 수백만 명의 학생을 지원하고 있으며, 챗GPT, 제미나이, 토키AI(Talkie-AI) 등 AI 채팅 플랫폼에서의 상호작용을 감시해 자해나 타인 위해 신호를 탐지한다.

2020년 3월 이후 비컨은 약 1만 8,623명의 학생을 신체적 위해로부터 보호했으며, 2021~2022년 비컨을 사용한 지역의 청소년 자살률이 26% 낮았다는 연구 결과가 나왔다.

라이트스피드 알러트(Alert)는 챗GPT, 제미나이 등 주요 AI 플랫폼에서 발생하는 레벨 3(높음) 및 레벨 4(임박) 경보의 대부분을 생성하며, 지난 1년간 130개 이상의 AI 관련 도메인에서 경보가 발생했다.

학교들은 학생 정신건강 위기와 총기 난사 위협에 대응하기 위해 학교 지급 기기를 24시간 모니터링하고 있으나, 개인정보 보호와 보안에 대한 우려도 제기되고 있다.

미국 공립학교의 절반이 정신건강 전문인력이나 예산이 부족하다고 보고했으며, 58%는 정신건강 지원을 요청하는 학생이 증가했다고 밝혔다.

비영리 시민자유단체 CDT 조사에 따르면 모니터링에 참여하는 학교 교사의 29%가 학생의 개인 기기도 앱, 브라우저 확장 프로그램, 네트워크 필터를 통해 학교가 추적한다고 응답했다.