[AI요약] 이제 인간 학생과 AI가 작성한 레포트의 차이점을 파악하는데 어려움을 겪고 있다는 사실이 영국의 연구팀에 의해 밝혀졌다. AI가 제출한 시험은 무사히 대학 시스템을 통과했으며, 오히려 인간 학생보다 더 높은 점수를 받았다. 이번 실험으로 인해 앞으로 대학이 학생을 평가하는 방법에 중대한 영향을 미칠 것으로 보인다.
AI 챗봇이 부정행위를 그 어느 때보다 효율적으로 만들고 있다.
경험이 풍부한 시험관들조차 속인 생성형 AI 챗봇의 현황과 전망에 대해 가디언, 데일리메일 등 외신이 27일(현지시간) 보도했다.
레딩대학교의 연구팀은 챗GPT(ChatGPT-4)에서 생성된 응답 전체를 실제 학부 심리학 시험에 비밀리에 추가했다. 연구팀이 가장 간단하고 분명한 방식으로 AI를 사용했음에도 불구하고, 이를 감지하는 마커는 94%의 사례에서 AI 반응을 발견하지 못했다.
더욱 우려되는 부분은 실제로 AI가 인간 학생들보다 평균적으로 높은 성적과 1등급 성적을 달성했다는 점이다.
연구팀은 AI 부정행위가 감지될수 있는지 확인하기 위해 챗GPT의 표준화된 프롬프트를 사용해 대학의 시험 시스템을 통해 이를 직접 제출했다. 연구팀이 실제 학부 과정 중 집에서 온라인 평가에 참여하기 위해 가짜 학생 신원을 생성하고 챗GPT에서 생성된 편집되지 않은 답변을 제출한 것이다.
연구결과, 이제 챗GPT와 같은 AI 프로세서가 ‘튜링 테스트’를 통과하고 있다는 사실이 드러났다. 튜링 테스트는 컴퓨팅 선구자 앨런 튜링에 의해 개발됐으며, 인간의 것과 동등하거나 구별할수 없는 지능적인 행동을 보여주는 기계의 능력을 판별하는 테스트다.
이번 실험은 인간 교육자가 AI 생성 응답을 감지할 수 있는지 조사하기 위한 동종 최대 규모의 가장 강력한 블라인드 연구로 평가받고 있다.
또한 이번 연구결과로 인해 앞으로 대학이 학생을 평가하는 방법에도 중대한 변화가 있을 것으로 보인다.
현재 추세로 볼때 AI는 앞으로 보다 더 추상적인 추론 능력을 발휘하는 능력을 갖게 되지만 인간의 탐지 능력은 감소할 것이며, 이는 학문적 진실성에 대한 문제가 더욱 악화될 것이라는 우려가 제기되고 있다.
이번 연구를 검토한 전문가들은 해당 실험 결과에 대해 ‘집에 가져가는 시험이나 감독되지 않은 교과 과정에 대한 죽음의 종소리’라고 표현했다.
카렌 영 버밍엄 대학교 법학·윤리 및 정보학 연구원이자 교수는 “이번 연구결과는 자유롭고 공개적으로 사용 가능한 생성 AI 도구를 통해 학생들이 집에서 부정행위를 할 수 있다는 것을 매우 분명하게 보여준다”며 “어려움 없이 시험을 치르고 더 나은 점수를 받아도 그러한 부정행위는 사실상 감지되지 않는다”고 지적했다.
영 교수는 “우리 중 많은 사람이 더이상 구글 지도의 도움 없이는 낯선 장소를 탐색할 수 없는 것처럼, 다음 세대도 결국 AI의 도움에 묶여 진지한 사고, 분석 또는 글쓰기에 참여할 수 없게 될 위험이 있다”고 우려했다.
이 연구가 오히려 대학들이 학생들이 생성한 AI 자료를 시험 평가에 통합할수 있다는 것을 보여준다는 의견도 나왔다.
에티렌 로쉬 레딩대학교 교수는 “학생들이 AI를 어떻게 사용하고 인정할지 기대하는 것에 동의해야 한다”며 “사회 전반의 신뢰 위기를 막기 위해 삶의 다른 영역에서 AI를 더 폭넓게 활용하는 것과 마찬가지다”고 강조했다.
피터 스카프 레딩대학교 심리학 및 임상언어과학 부교수는 “이번 연구는 AI가 교육 평가의 무결성에 어떻게 영향을 미치는지 이해하는 것이 국제적으로 중요하다는 것을 보여준다”며 “우리가 반드시 필기시험으로 완전히 돌아갈 필요는 없지만 교육 부문이 AI에 맞서 진화해야 한다는 것을 의미한다”고 설명했다.
